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Apresentação da Disciplina 


A disciplina Análises e Avaliações de Políticas Públicas tem uma gran- 
de importância para você, futuro profissional da Administração Pública 
brasileira. Na sua formação profissional é vital que entenda os pressu- 
postos e saiba operacionalizar análises, avaliações e monitoramentos de 
políticas públicas, uma vez que é mister ao poder público e, portanto, 
aos seus agentes, atender aos princípios constitucionais da administra- 
ção pública, entre eles aos da legalidade, impessoalidade, moralidade, 
publicidade e eficiência. 


Para tanto, um destes preceitos é que as políticas públicas sejam eficien- 
tes, o que só ocorre com o constante monitoramento delas, bem como 
com suas adequadas análises e avaliações. Desta forma, este livro vem 
trazer conhecimentos e instrumentos para que os futuros administra- 
dores públicos cumpram com seu juramento de “zelo à res publica [...] 
opor a todo tipo de ameaça ao bem-estar social, à justiça e ao correto 
uso dos recursos públicos [...] e, assim, auxiliar a minha comunidade e a 
sociedade a galgarem patamares civilizatórios e de felicidade que não po- 
dem atingir a não ser sob bons governos, boas administrações públicas 
e correta gestão das políticas públicas”. Juras estas que só são factíveis 
com adequadas e justas políticas públicas. 


Neste propósito, o Capítulo 1 deste livro trata dos aspectos gerais sobre 
políticas públicas e suas formas de análise e avaliação. Para isso, são 
apresentados conceitos amplos de políticas públicas e avaliações. De- 
pois é discutido sobre o papel e as características do bom avaliador e da 
cultura de avaliação de projetos, programas ou políticas públicas. Mais 
adiante é feita uma contextualização história da avaliação de políticas no 
Brasil e no mundo. Por fim o capítulo termina com uma análise sobre as 
visões pós-estruturalistas e a dimensão política da avaliação. 


O Capítulo 2 aborda a concepção do ciclo de políticas públicas e as prin- 
cipais abordagens quanto a análise de políticas públicas e seu modelo 
sistêmico. Depois trata dos atores políticos em suas diferentes esferas. 
Por fim, termina com a apresentação de experiências inovadoras que 
criam novas esferas públicas de negociação e de participação popular. 


O Capítulo 3, que encerra o livro, talvez seja o mais denso, ou melhor 
com mais conteúdo, por dispor sobre a avaliação e monitoramento de 
políticas públicas, bem como dos diferentes tipos de avaliações. Assim, 
a unidade inicia caracterizando e diferenciando avaliação de monitora- 
mento. Depois aborda os sistemas e painéis de monitoramento de polí- 
ticas públicas. Trata, ainda, sobre os métodos qualitativos e quantitativos 
de investigações sociais na avaliação de políticas públicas, quando são 
feitas considerações a respeito das entrevistas, observações sistemáticas 
e pesquisas documentais. Na sequência é explanado sobre os métodos 
de avaliação de projetos, programas e políticas públicas, classificando-os 
quanto a origem da equipe (avaliação interna, externa, mista e partici- 
pativa) e quanto ao momento (avaliação ex-ante, in-itinere ou monito- 
ramento, de meio termo e ex-post). Por fim, além desta tipologia apre- 
sentada, são discutidos mais dois tipos de avaliação de políticas públicas 
específicas: a avaliação segundo a eficiência, eficácia e efetividade (3Es) 
e a avaliação etnográfica. 


Espero que este livro e esta disciplina possam contribuir com sua for- 
mação profissional e pessoal, caro(a) aluno(a), bem como para a cons- 
tante qualificação da já qualificada e competente administração pública 
brasileira. 


Bom estudo! 


Professor João Paulo Rocha de Miranda 
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ASPECTOS GERAIS SOBRE 
POLÍTICAS PÚBLICAS E SUAS 
FORMAS DE ANÁLISE E AVALIAÇÃO 


Prof. Dr. João Paulo Rocha de Miranda 


1.1 Introdução 


Este capítulo tem uma natureza introdutória e conceitual ao estudo da 
análise e avaliação de políticas públicas. Para isso serão apresentados, 
primeiramente, os aspectos gerais das políticas públicas. Para depois 
discutir sobre o papel dos agentes que fazem as avaliações de políticas 
públicas, bem como abordar, ainda que brevemente, a cultura avaliativa 
no país, com suas dificuldades. Tudo isso, a fim de embasar os estudos 
dos capítulos seguintes. 


No item seguinte será estudada a contextualização histórica, tanto das 
políticas públicas, quanto da sua avaliação. Esta análise será feita tanto 
na esfera mundial, quanto na nacional. Aqui também será tratado um 
pouco sobre o momento histórico e como foi desenvolvida no mundo e 
no Brasil a cultura avaliativa, e até que ponto. 


No último tópico deste capítulo, serão traçadas considerações sobre vi- 
sões estruturalistas, positivistas e pós-estruturalistas acerca da avaliação 
de políticas públicas, programas ou projetos. Será demonstrado como a 
pós-modernidade e as novas tecnologias influenciam essas mudanças de 
paradigmas. Por fim, será demonstrado como a avaliação das políticas 
públicas é, também, uma política. 


Destarte, as temáticas deste capítulo são importantes para o início do 
seu estudo nesta disciplina, uma vez que irão fornecer aos alunos(as) da 
Administração Pública elementos conceituais para que possam refletir 
sobre as políticas públicas e aplicar estes conceitos nas esferas acadêmi- 
ca, profissional e da vida em geral. 
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1.2 Aspectos Conceituais, o Papel do Avaliador 
e a Cultura da Avaliação 


O tópico 1.2, deste capítulo, foi adaptado e remixado da obra: 

RUA, Maria das Graças. Análise de políticas públicas. In: RUA, Maria das Graças. 
Políticas públicas. 3. ed. rev. atua. Florianópolis: UFSC; Brasília: CAPES: UAB, 
2014. 


Esta obra está licenciada nos termos da Licença Creative Commons Atribuição- 
-NãoComercial-Compartilhalgual 3.0 Brasil, podendo a OBRA ser remixada, 
adaptada e servir para criação de obras derivadas, desde que com fins não co- 
merciais, que seja atribuído crédito ao autor e que as obras derivadas sejam 
licenciadas sob a mesma licença. 


Para iniciarmos este estudo, na área das ciências sociais, vamos definir 
primeiramente o que é sociedade. Sociedade é um conjunto de indi- 
víduos, dotados de interesses e recursos de poder diferenciados, que 
interagem continuamente a fim de satisfazer às suas necessidades. Di- 
ferentemente da comunidade, a principal característica da sociedade é a 
diferenciação social. Seus membros não apenas possuem atributos dife- 
renciados (idade, sexo, religião, estado civil, escolaridade, renda, setor 
de atuação profissional etc.), como também possuem ideias, valores, 
interesses e aspirações diferentes e desempenham papéis diferentes no 
decorrer da sua existência. Por serem diferentes, os indivíduos trarão 
contribuições múltiplas e específicas à vida coletiva: habilidades, talen- 
tos, oferta de serviços, demandas etc. 


É a diferenciação que torna a vida em sociedade atraente como estratégia 
para satisfação de interesses e necessidades. Mas, o que vêm a ser inte- 
resse e necessidade? O que “interessa” a você, particularmente, ou do 
que você “necessita”? O que você pensa sobre isso? 


Pois bem, interesse é qualquer valor considerado importante, útil ou van- 
tajoso, moral, social ou materialmente. Os interesses podem resultar de 
necessidades materiais ou ideais. São necessidades materiais não somen- 
te aquelas que se referem à nossa sobrevivência física, como alimenta- 
ção, moradia etc., mas também as que dizem respeito aos nossos desejos 
de posse e ostentação material, tais como: propriedade de terras, bens 
móveis ou imóveis, joias, dinheiro etc. Enquanto as necessidades ideais 
são aquelas que fazem referência ao nosso desenvolvimento intelectual, 
cultural, religioso — assistir a um filme, participar de um debate filosófi- 
co ou político, defender uma ideia, comparecer a cultos religiosos etc. 


Os interesses tanto podem ser subjetivos como de natureza objetiva — 
como interesses de classes ou de categorias sociais, por exemplo, ter um 
salário satisfatório é um interesse objetivo de todo tipo de trabalhador 
assalariado —, o lucro é um interesse objetivo de todo empresário capi- 
talista. Já o interesse de um trabalhador assalariado em desenvolver uma 
determinada atividade que lhe traga satisfação profissional, por ser a sua 


vocação, é um interesse subjetivo, embora muitos trabalhadores possam 
ter um interesse desse tipo. O interesse de um empresário em explo- 
rar uma determinada área de atividade porque acredita que nela poderá 
adotar inovações é um interesse subjetivo, embora muitos empresários 
possam adotar esse comportamento. 


A diferenciação faz com que a vida em sociedade seja complexa e po- 
tencialmente envolva, ao mesmo tempo, múltiplas possibilidades de co- 
operação, competição e conflito. A cooperação consiste na capacidade 
de realização de ações conjuntas em prol de um benefício comum. Um 
mutirão para a construção de um açude comunitário é um exemplo de 
cooperação. Outro exemplo seria a realização de serviços voluntários, 
por exemplo, numa creche comunitária. 


Já a competição é uma forma de interação social que compreende um 
amplo número de procedimentos de disputa por bens escassos, geral- 
mente conforme regras admitidas pelas partes. A competição pode as- 
sumir diferentes formas e estar presente em processos distintos. Um 
exemplo de competição são os jogos esportivos, outro são os concursos 
para acesso a cargos, e outro a disputa por vagas em universidades etc. 


No contraponto temos, ainda, o conflito, que também é uma modalidade 
de interação social envolvendo indivíduos, grupos, organizações e cole- 
tividades. O conflito se distingue porque implica choques para o aces- 
so e a distribuição de recursos escassos, geralmente identificados como 
riqueza, poder e prestígio e todos os seus instrumentos. Por exemplo, 
quando um grupo de trabalhadores sem-terra ocupa uma propriedade 
rural, com a finalidade de provocar sua desapropriação, temos uma situ- 
ação de conflito. 


A possibilidade do uso da violência, própria do conflito, é um dos ele- 
mentos que o diferenciam da competição. Quando o conflito envolve o 
uso da violência, dizemos que as partes estão em situação de confronto, 
cujo ponto crítico é a guerra. O conflito é próprio da vida coletiva. Po- 
rém, para que a sociedade possa sobreviver e progredir, o conflito deve 
estar dentro de limites administráveis. Ou seja: embora nós, indivíduos, 
possamos divergir, competir, e entrar em conflito, precisamos evitar o 
confronto. Para tanto é necessário que haja alguns consensos em relação 
às regras e aos limites necessários ao bem-estar coletivo. 


Nada disso acontece naturalmente, pois o consenso significa a existência 
de um acordo entre os membros de uma coletividade, quanto a princí- 
pios, normas, valores, objetivos ou meios. Os consensos não ocorrem 
naturalmente, nem são automáticos: precisam ser construídos. 


A administração do conflito, por sua vez, pode ser obtida por dois meios: 


º a coerção; 
* ea política. 
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De forma genérica, a coerção consiste na ação de reprimir, de refrear. Já 
a política corresponde à força exercida pelo Estado para fazer valer o di- 
reito. Como a aplicação da força pode gerar reações, o custo da coerção 
pode ser muito elevado, e o seu uso, demasiado desgastante para quem 
a aplica. 


Especificamente, é possível dizer que coerção é a pressão, a princípio 
psicológica, mas se necessário de forma efetiva, pelos instrumentos do 
Estado, sempre em consonância ao princípio da legalidade (VENOSA, 
2010). Quanto à política, não obstante seja “[...] evidentemente arrisca- 
do comprometer-se com uma determinada definição de política, mesmo 
que essa definição seja limitada à compreensão moderna do que política 
quer dizer” (COLLIOT-THÉLENE, 1999, p. 7), é possível fazer aproxima- 
ções teóricas. Assim, a política pode ser conceituada como “[...] a ativi- 
dade humana concernente a organização e governo da sociedade civil ou 
política [...] da comunidade que modernamente se define como Estado” 
(CHORÃO, 2000, p. 210). Ou seja, essencialmente, política significa “a 
arte ou ciência de governar” (VENOSA, 2010, p. 229). 


Por isso, as sociedades recorrem à política, seja para construir os consen- 
sos, seja para controlar o conflito. Cabe indagar, então, o que é a política. 
Uma definição bastante simples é oferecida por Schmitter que diz que a 
“[...] política é a resolução pacífica para os conflitos” (SCHMITTER, 1984, 
p. 34). Entretanto, este conceito é demasiado amplo, discrimina pouco. É 
possível delimitar um pouco mais e estabelecer que política consiste no 
conjunto de procedimentos formais e informais que expressam relações 
de poder e que se destinam à resolução pacífica dos conflitos quanto a 
bens públicos (RUA, 1998). 


Considerando o amplo, diversificado e indefinido uso do termo política, 
o primeiro desafio que se apresenta, para o estudo de políticas públicas 
é o de esclarecer o seu significado na perspectiva da ciência política. De 
maneira geral, as pessoas, fora do universo científico, referem-se à polí- 
tica pensando no momento eleitoral, em que um grande número de can- 
didatos disputa um cargo no governo e, em nome disso, faz uma série 
de promessas em termos de promoção do bem-estar social, levando os 
indivíduos a acreditarem na sua boa vontade e no seu altruísmo. Nesse 
caso, o que têm em mente é a ação de indivíduos imbuídos do desejo 
de “tirar vantagem”, ou seja, maximizar seus interesses particulares em 
detrimento do interesse público. 


Por isso, frequentemente, as pessoas tornam-se céticas e tendem a con- 
siderar a política (e os políticos) algo que é, por natureza, nocivo à so- 
ciedade. Muitas vezes, isso faz com que as pessoas prefiram se manter 
alheias a esses processos, como se a política não fosse parte constitutiva 
e essencial da vida social. Para muitos outros, mesmo os mais descrentes 
e os menos esclarecidos, política tende a se confundir com governo, ou 
seja, ela se relaciona, diretamente, com as ações governamentais. 


Contudo, este é um entendimento bastante impreciso. Ainda que de ma- 
neira puramente conceitual, cabe uma distinção. Para fazê-la, recorrere- 
mos ao uso de algumas palavras da língua inglesa, já que na língua por- 
tuguesa uma mesma palavra tem vários significados. O termo “política”, 
no inglês, politics, faz referência às atividades políticas: o uso de pro- 
cedimentos diversos que expressam relações de poder (ou seja, visam 
a influenciar o comportamento das pessoas) e se destinam a alcançar 
ou produzir uma solução pacífica de conflitos relacionados a decisões 
públicas. 


Você deve estar se perguntando: como isso pode acontecer? 


Por exemplo, alguns atores sociais, que possuem interesse numa deter- 
minada questão, fazem manifestações públicas; alguns parlamentares no 
Congresso recebem os representantes desses atores em seus gabinetes, 
discutem suas reivindicações. Outros parlamentares fazem o mesmo 
com outros atores afetados pelo tema e que têm interesses diferentes, 
opostos ou não. Mais tarde, a imprensa noticia o fato, e os parlamenta- 
res comentam essas manifestações, fazem discursos. As lideranças do 
governo no Congresso fazem um relato disso às autoridades do Poder 
Executivo. Em resposta, o governo cria um grupo de trabalho para dis- 
cutir o assunto. 


Naturalmente, há uma disputa entre os atores para saber quem vai com- 
por esse grupo de trabalho, pois isso pode definir o resultado das discus- 
sões. O grupo de trabalho pode convidar alguns dos atores para defen- 
derem os seus interesses ou apresentarem suas preferências (ou não). As 
propostas do grupo de trabalho são discutidas com os parlamentares. O 
partido do governo pode intervir e propor um determinado encaminha- 
mento. Os partidos de oposição discordam e pressionam contra. Alguns 
governadores de Estado procuram o governo manifestando-se a favor, 
outros contra tal encaminhamento, chegando a um impasse. 


Aos poucos, com o amadurecimento das discussões, vão se formando 
certas concepções entre os membros do governo, os parlamentares e 
outros atores. Vão sendo feitas negociações entre eles e são construídos 
acordos para atender às reivindicações, porém sem gerar novos conflitos 
com outros atores sociais. Isso é política, ou seja: politics. 


Já o termo policy é utilizado para referir-se à formulação de propostas, 
tomada de decisões e sua implementação por organizações públicas, 
tendo como foco temas que afetam a coletividade, mobilizando interes- 
ses e conflitos. Em outras palavras, policy significa a atividade do gover- 
no de desenvolver políticas públicas, a partir do processo da política. 


Avançando um pouco mais, é possível sustentarmos que as políticas pú- 
blicas (policy) são uma das resultantes da atividade política (politics): 
compreendem o conjunto das decisões e ações relativas à alocação im- 
perativa de valores envolvendo bens públicos. 
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Para um melhor entendimento, torna-se necessário esclarecermos, tam- 
bém, as diferenças entre política pública e decisão política, conforme 


quadro a seguir: 


Decisão política corresponde a uma 
escolha dentre um conjunto de pos- 
síveis alternativas, conforme a hierar- 
quia das preferências dos atores en- 
volvidos, expressando — em maior ou 


Política pública geralmente envolve 
mais do que uma decisão e requer 
diversas ações estrategicamente se- 
lecionadas para implementar as deci- 
sões tomadas. 


menor grau — uma certa adequação 
entre os fins pretendidos e os meios 
disponíveis. 


Quadro 1: Diferença entre decisão política e política pública 
Fonte: Adaptado pelo autor deste livro de RUA, 2014 


Assim, embora uma política pública implique decisão política, nem toda 
decisão política chega a constituir uma política pública. Podemos encon- 
trar um exemplo na emenda constitucional para reeleição presidencial, 
ou na criação de um novo tributo ou, ainda, na criação de um novo es- 
tado da federação. Observe que essas situações apresentadas são deci- 
sões, mas não são política pública. Já a reforma agrária, o Sistema Único 
de Saúde, o financiamento da educação superior ou a adoção de meca- 
nismos de transferência de renda são políticas públicas. 


Por mais óbvio que possa parecer, as políticas públicas são “públicas”. 
Embora as políticas públicas possam incidir sobre a esfera privada (fa- 
mília, mercado, religião), elas não são privadas. Mesmo que entidades 
privadas participem de sua formulação ou compartilhem de sua imple- 
mentação, a possibilidade de o fazerem está amparada em decisões pú- 
blicas, ou seja, decisões tomadas por agentes governamentais, com base 
no poder imperativo do Estado. 


Mas, atenção: políticas públicas e atividades coletivas são coisas 
distintas. Você sabe qual a diferença? 


Imagine, por exemplo, clubes, condomínios e sociedades fechadas. Estes 
podem oferecer benefícios para seus associados por deliberação própria, 
com exclusividade, embora sejam entidades privadas. Assim, podemos 
dizer que é o direito exclusivo que um indivíduo ou um grupo possui 
sobre o desfrute de um determinado bem que o define como privado. 


Já a dimensão “pública” de uma política é dada não pelo tamanho do 
agregado social (grandes ou pequenos grupos) sobre o qual ela incide, 
mas pelo seu caráter jurídico “imperativo”. Isso significa que uma das 
suas características centrais é o fato de que são decisões e ações reves- 
tidas do poder extroverso e da autoridade soberana do poder público. 


Observamos, caros alunos(as) de Administração Pública, que a maioria 
das organizações existentes na sociedade — igrejas, sindicatos, empre- 
sas, universidades, partidos políticos etc. — está sujeita a normas e re- 
gulamentos, mas estas se limitam a regulá-las internamente. O Estado 


é a única exceção: é um sistema organizacional cujo poder regulatório 
ultrapassa os seus próprios limites organizacionais e se estende sobre a 
sociedade como um todo — sendo, por isso, chamado de “poder extro- 
verso”. Essa característica não é própria de entidades privadas, mesmo 
que ajam visando ao benefício público ou que agreguem a participação 
de amplas coletividades. 


Por exemplo, o Movimento pela Cidadania contra a Fome e a Miséria, 
o famoso “Movimento do Betinho”, iniciado em 1993, que deu ajuda a 
muitas famílias carentes, era uma ação privada, ainda que tivesse interes- 
se público. Já o Programa Bolsa Família é parte de uma política pública 
de combate à fome e à miséria. Embora os objetivos dos dois sejam 
equivalentes e vários dos que atuaram no primeiro hoje atuem como 
gestores do segundo, a diferença entre eles é que o Programa Bolsa Fa- 
mília baseia-se em decisões e ações revestidas do poder extroverso e 
da autoridade soberana do Estado e, por isso, consiste em uma política 
pública e não em uma ação privada de interesse público. 


Portanto, é importante desenvolver a compreensão de que as políticas 
públicas são resultantes da atividade política e que esta consiste na reso- 
lução pacífica de conflitos, processo essencial à preservação da vida em 
sociedade. Ademais, é indispensável que o leitor(a) tenha a capacidade de 
distinguir entre atividade política e entre política pública e ações e deci- 
sões privadas, ainda que estas últimas venham a ser de interesse público. 


Quanto às avaliações de políticas públicas ou avaliação institucional, es- 
tas têm como objeto as instituições públicas, ou melhor, seus projetos, 
programas e políticas públicas. Nas próximas unidades estudaremos 
seus conceitos, sua tipologia, suas técnicas, seus métodos e suas etapas. 
Contudo, neste momento é importante trazer as reflexões de Belloni, 
Magalhães e Costa (2007) que afirmam haver uma grande fluidez concei- 
tual e metodológica com grande dose de empiricismo. Advertem, ainda, 
que é frequente a escassez de critérios e de clareza acerca da relevância 
e utilidade dos resultados. Por isso alertam que é necessário elevar o 
grau de racionalidade das políticas, o que parece uma forma de ressal- 
tar e preconizar uma ética estruturalista a estas avaliações. Apesar das 
fundamentadas críticas, é importante deixar claro que não há um único 
paradigma possível para as avaliações de políticas públicas. Sua adequa- 
da escolha vai depender do tipo de política a ser avaliada. Sobre isso, 
discutiremos no item 1.4 deste capítulo. 


Mas, e os avaliadores(as)? Qual o papel destes atores? 


Uma vez que a avaliação se consubstancia em uma determinação axioló- 
gica para o julgamento ou acompanhamento (no caso do monitoramen- 
to) de uma atividade, projeto, programa ou política, só pode fazê-la um 
ser humano. A tecnologia ajuda como ferramenta, mas para que haja um 
julgamento tão sistemático e objetivo quanto possível, sem perder cone- 
xão com a realidade, a avaliação deve ser efetuada por avaliadores(as), 
que podem ser internos ou externos. 
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Os avaliadores externos, obviamente realizam a avaliação externa, que é 
efetuada por especialistas de fora da instituição responsável pela política. 
Isto traz vantagens (isenção e objetividade e a possibilidade de compa- 
ração dos resultados obtidos com os de outros programas similares) e 
desvantagens (posição defensiva dos que terão seu trabalho avaliado e 
maior dificuldade no acesso aos dados). Já os avaliadores internos, natu- 
ralmente realizam a avaliação interna, feita por agentes da própria insti- 
tuição avaliada, apresentando, portanto, vantagens (eliminação da resis- 
tência e possibilidade de reflexão, aprendizagem e compreensão acerca 
das atividades institucionais) e desvantagens (perda de objetividade e da 
isenção), como será comentado nos tópicos que tratarão sobre os tipos 
de avaliações (RAMOS; SCHABBACH, 2012). 


De forma geral, os avaliadores e avaliadoras de políticas públicas não 
precisam, legalmente, ter uma formação acadêmica específica, mas for- 
mações em cursos como os de Administração Pública, Gestão Pública, 
Ciência Política, Administração, Economia e Direito são bem-vindas, mas 
não bastam em si. Normalmente um bom avaliador(a) de políticas públi- 
cas desenvolvem outras especialidades e habilidades específicas. 


Correntes estruturalistas e positivistas defendem a racionalidade e o dis- 
tanciamento do avaliador, como formas de evitar qualquer intervenção 
emocional, ideológica, cultural ou histórica na avaliação. Portanto, para 
as éticas estruturalistas e positivistas os pesquisadores fazem parte de 
uma estrutura imutável e devem ser totalmente passivos, imparciais e 
desinteressados, isto é, devem agir apenas como informantes dos toma- 
dores de decisões. Já para os pós-estruturalistas, o avaliador deve ser ati- 
vo, transformador, engajado e participativo, como será visto mais adiante 
(CARDOZO, 2014, p. 122). 


O ideal é que o avaliador sempre disponha de meios para realizar suas 
avaliações de forma contextualizada, nas quais analise o conteúdo da 
política, sua trajetória institucional, além de obter um espectro temporal 
e territorial da política (RODRIGUES, 2008). 


A avaliação de políticas públicas é política? 


Sim, a avaliação de políticas públicas tem um caráter eminentemente 
político, uma vez que está vinculada ao processo político mais abran- 
gente, bem como às estratégias e aos interesses dos decisores e demais 
envolvidos (FARIA, 2005). Além disso, a avaliação, enquanto processo 
de análise de políticas públicas, incorpora uma dupla natureza. Isto é, ao 
mesmo tempo que estuda a política (of policy), estuda para a política (for 
policy). Ou seja, tem natureza de pesquisa acadêmica, que objetiva um 
melhor entendimento do processo político, bem como de pesquisa apli- 
cada, voltada à solução para a política de problemas sociais, conforme 
comenta Ramos e Schabbach (2012, p. 1274): 


Em outros termos, subjacente à análise e à avaliação de políticas públicas, 
aparece a orientação pela política (for policy), ou seja, o interesse em que 


os achados dos estudos avaliativos possam melhorar o processo político e 
o bem-estar da população, uma vez que os avaliadores são também agentes 
sociais, cidadãos participantes do processo político e eventuais beneficiários 
das ações estatais. Ao passo que a postura mais crítica e distanciada desen- 
volvida dentro do espaço acadêmico é importante por permitir a isenção e 
o rigor científico; uma postura engajada não significa, necessariamente, a 
identificação com os objetivos daqueles que controlam o processo político 
e o governo. 


Destarte, uma postura crítica que coloque em dúvida, ou pelo menos 
em suspenso, os pressupostos dos tomadores de decisão, sempre é a 
postura mais prudente e ética de um bom avaliador de políticas públicas, 
é um ato político!. “Não fazê-lo conduz a uma posição conservadora” 
(RAMOS; SCHABBACH, 2012, p. 1275), mais do que isso, conduz a uma 
avaliação que provavelmente ferirá o interesse público a fim de atender 
aos anseios do tomador de decisão. 


Quais os obstáculos à cultura avaliativa? 


Embora os Planos Plurianuais (PPA) dos quatriênios 1996 a 1999 e 2000 
a 2003 já possuíssem instrumentos de avaliação e monitoramento, os 
modelos eram falhos e não foram suficientes para implantarem uma cul- 
tura avaliativa no Brasil. Contudo, a partir do PPA de 2004 a 2007 foi 
implantado o Sistema de Avaliação do Plano Plurianual, que visava “[...] 
assegurar que a avaliação integrasse a gestão dos programas subsidiando 
a tomada de decisão, bem como disseminar a cultura avaliativa e garantir 
sua utilização na formulação e implementação das políticas e programas 
de governo” (RAMOS; SCHABBACH, 2012, p. 1285). 


Embora avanços tenham ocorrido e a cultura avaliativa seja melhor hoje 
do que outrora, ainda há uma forte resistência na administração pública. 
Isto se deve à predominância de uma cultura autoritária, em detrimento 
da avaliativa. Muitos agentes políticos (autoridades públicas) ficam cons- 
trangidos com a simples “[...] perspectiva de serem analisadas as suas 
ações e reagem através de: proibições diretas, ou colocação de dificulda- 
des burocráticas: desinteresse no levantamento de dados, tornar inaces- 
síveis as fontes, falta de apoio” (RAMOS; SCHABBACH, 2012, p. 1285). 


Assim, com estes conceitos introdutórios, você, leitor(a) e/ou aluno(a) 
de Administração Pública, terá subsídios para entender o ciclo de po- 
líticas públicas e, especificamente, como se dá a análise e avaliação de 
políticas, programas e projetos, o que será desenvolvido nos próximos 
tópicos e capítulos. 


1.3 Histórico da Avaliação de Políticas Públicas 


O tópico 1.3, deste capítulo foi adaptado e remixado da obra: 

TREVISAN, Andrei Pittol; BELLEN, Hans Michael Van. Avaliação de políticas pú- 
blicas: uma revisão teórica de um campo em construção. RAP: Revista de Admi- 
nistração Pública, Rio de Janeiro, vol. 42, n. 3, p. 529-550, maio/jun. 2008. 
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Esta obra está licenciada nos termos da Licença Creative Commons Atribution 
4.0 International, podendo a OBRA ser copiada, adaptada e remixada, desde que 
com fins não comerciais e que seja atribuído crédito ao autor. 


Antes de estudarmos o processo histórico de avaliação das políticas pú- 
blicas, é necessário investigar como e quando se deu o desenvolvimento 
das políticas públicas, tanto mundialmente, quanto nacionalmente. As- 
sim, no final do século XX, com o aprofundamento da crise do welfare 
state, com as convulsões econômicas, sociais e políticas enfrentadas, 
principalmente a partir do final da década de 70, junto com o movimento 
da nova administração pública, o Estado é fortemente questionado tanto 
quanto as suas funções quanto à real eficácia de suas ações interventoras 
na realidade social. Aceitando-se que a compreensão do sucesso e do 
fracasso das políticas públicas é fundamental para o melhor desempenho 
da administração pública, passam-se a algumas considerações sobre o 
“Estado em ação”. 


De acordo com Faria (2003), em seus primórdios, as políticas públicas 
eram consideradas quase exclusivamente outputs do sistema político, o 
que justificava o fato de a atenção dos investigadores ter se concentrado 
inicialmente nos inputs, isto é, nas demandas e articulações de interesse. 
Dessa forma, antes que a análise de políticas públicas fosse reconhecida 
como uma subárea da ciência política, os estudos recaíam nos processos 
de formação de políticas públicas, “o que parece refletir o status privile- 
giado que os processos decisórios sempre desfrutaram junto aos profis- 
sionais da área” (Faria, 2003, p. 21). 


Nos Estados Unidos, segundo Frey (2000), pesquisas em políticas públi- 
cas começaram a se estabelecer no início dos anos 1950, sob a designa- 
ção de policy science, enquanto na Europa, especialmente na Alemanha, 
a preocupação com campos específicos de políticas somente toma força 
a partir do início dos anos 1970. Nesse período a unidade de análise tor- 
na-se a própria definição das políticas públicas, o que conferiu destaque 
aos aspectos dinâmicos do policy process e aos distintos atores, estatais 
e não estatais, geralmente envolvidos (Faria, 2003). 


Para Faria (2003), há atualmente uma babel de abordagens, teorizações 
incipientes e vertentes analíticas que buscam dar significação à diversifi- 
cação dos processos de formação e gestão das políticas públicas, consi- 
derando um mundo cada vez mais caracterizado pela interdependência 
assimétrica, incerteza e complexidade das questões. 


No caso do Brasil, os estudos sobre políticas públicas são bem recentes, 
historicamente. Nesses estudos dispersos, a ênfase recaiu ou sobre a 
análise das estruturas e instituições ou sobre a caracterização dos pro- 
cessos de negociação das políticas setoriais específicas. De acordo com 
Melo (1998), a construção histórica da agenda de políticas públicas no 


Brasil pode ser identificada e dividida em etapas. Porém, não se preten- 
de um aprofundamento detalhado de cada etapa, apenas uma descrição 
sumária dos últimos anos e seus destaques. 


A análise de políticas públicas experimentou um boom na década de 80, 
impulsionada pela transição democrática. São três os motivos da expan- 
são (Melo, 1999). Em primeiro lugar, pelo deslocamento na agenda pú- 
blica. Durante os anos 1970, a agenda pública se estruturou em torno de 
questões relativas ao modelo brasileiro de desenvolvimento, em que a 
discussão limitava-se aos impactos redistributivos da ação governamen- 
tal e ao tipo de racionalidade que conduzia o projeto de modernização 
conservadora do regime ditatorial. Eram centrais para essa agenda as 
questões de arranjo institucional: descentralização, participação, trans- 
parência e redefinição do mix público-privado nas políticas. A essa trans- 
formação da agenda seguiu-se uma redescoberta na agenda de pesquisas 
das políticas municipais e descentralização. 


Em segundo lugar, não obstante o fim do período autoritário, constatou- 
-se que os obstáculos à consecução de políticas sociais efetivas continu- 
aram existindo, o que serviu para fortalecer os estudos sobre políticas. A 
perplexidade e o desencantamento em relação ao Estado levaram a um 
maior interesse sobre as condições de efetividade da ação pública. 


Em terceiro lugar, a difusão internacional da ideia de reforma do Estado 
e do aparelho de Estado passou a ser o princípio organizador da agenda 
pública dos anos 1980-90, o que provocou uma proliferação de estu- 
dos de políticas públicas. As questões de arranjo institucional ganharam 
grande centralidade na agenda: “(...) ao tomar-se o modo e a qualidade 
da intervenção pública na economia e na sociedade como objeto de es- 
tudo, cria-se por extensão um programa de pesquisa de caráter empírico 
sobre questões relativas à eficiência de políticas e programas” (MELO, 
1999, p. 81). Por outro lado, se antes o encantamento da imaginação 
social brasileira era o Estado, nos anos 1990, esse apego passa a ser di- 
recionado, paulatinamente, para a sociedade civil. 


De fato, nos últimos anos tem-se visto um crescimento dos estudos da 
área de políticas públicas no Brasil (ARRETCHE, 2003; SOUZA, 2003). 
Conforme Arretche (2003), multiplicaram-se as dissertações e teses so- 
bre temas relacionados às políticas governamentais; disciplinas de po- 
líticas públicas foram criadas ou inseridas nos programas de graduação 
e pós-graduação; criaram-se linhas de pesquisa especialmente voltadas 
para essa área; instituíram-se agências de fomento à pesquisa, assim 
como linhas especiais de financiamento para a área. 


Apoiando-se em Melo (1999), Arretche (2003) confirma que a área de 
políticas públicas no Brasil se caracteriza por uma baixa capacidade de 
acumulação de conhecimento, em função da proliferação horizontal de 
estudos de caso e da ausência de pesquisa. Souza (2003) diz que esse é 
o primeiro problema a ser superado pela área. A solução, felizmente, tem 
avançado com a criação de fóruns específicos sobre políticas públicas 
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em espaços acadêmicos, e com o advento da informatização de periódi- 
cos nacionais e internacionais.2 “Esses fóruns e instrumentos permitem- 
-nos conhecer melhor e mais rapidamente a produção de nossos pares, 
embora não exista um periódico específico que abrigue exclusivamente 
a produção da área” (SOUZA, 20083, p. 16). 


Reis (2003) assinala que a política pública não se furta ao imperativo da 
utilidade social, ou seja, mesmo quando adota uma postura crítica, ela o 
faz apostando na possibilidade de cursos de ação alternativos. Portanto, 
há poucas dúvidas quanto ao objeto de análise de políticas públicas. A 
análise do “Estado em ação” tem como objeto específico o estudo de 
programas governamentais, suas condições de emergência, mecanismos 
de operação e prováveis impactos sobre a ordem social e econômica 
(ARRETCHE, 2003). 


Por ser uma subárea muito ampla, decorre outro problema, ressaltado 
por Souza (2003) e comentado por Melo (1999): a abundância de estu- 
dos setoriais, dotando a área de uma diversificação de objetos empíricos 
que se expandem horizontalmente, sem um fortalecimento vertical da 
produção. Conforme a autora, isso acontece porque a disciplina envolve, 
no mínimo, análises sobre a identificação do problema que vai ou não 
se transformar em uma política (agenda setting), a formulação, a legiti- 
mação, gestão, implementação e avaliação da política. É da essência da 
área a multidisciplinaridade, razão pela qual estudos setoriais transitam 
em diversas áreas do conhecimento, logo, “em síntese, o problema do 
crescimento horizontal excessivo versus a falta de fortalecimento vertical 
decorre do crescimento da própria disciplina no Brasil, pois ela assumiu 
uma formação que mais gira em torno de áreas temáticas do que grupo 
de pesquisa” (SOUZA, 20083, p. 16). 


Souza (2003) sustenta-se em Melo (1999) novamente para apontar um 
terceiro problema, que diz respeito à proximidade da área de políticas 
públicas com a burocracia governamental, o que tanto pode resultar 
em trabalhos normativos e prescritivos, como na possibilidade de esses 
mesmos órgãos governamentais ditarem a agenda de pesquisa acadêmi- 
ca. Esse ponto é válido, também, para organismos multilaterais. Arretche 
(2003, p. 8-9) afirma que o programa de pesquisa brasileiro tem estado 
fortemente subordinado à agenda política do país: 


o conteúdo da produção acadêmica (teses, artigos e pesquisas) tem sido, em 
boa medida, a avaliação dos resultados alcançados pelas políticas em voga 
ou a atualização da informação existente sobre programas já consolidados. 
Na verdade, a subordinação da agenda de pesquisa à agenda política é po- 
tencialmente maior na área de políticas públicas do que em outras áreas do 
conhecimento (...). 


Além da baixa capacidade de acumulação de conhecimento (Melo, 
1999), Arretche (2003) e Souza (2003) destacam que os métodos de 
investigação têm recebido escassa atenção no debate dessa área de pes- 
quisa. Nas palavras de Souza (2003, p. 17), “a área ainda apresenta um 


uso excessivo de narrativas pouco pautadas por modelos ou tipologias 
de políticas públicas, por teorias próximas do objeto de análise e que 
mantêm uma leveza metodológica exagerada”. 


Com relação às pesquisas brasileiras, Souza (2003, p. 17) diz que urge 
superar a atual geração de estudos, excessivamente concentrada nos fra- 
cassos, pouco preocupada com as questões políticas e fortemente assen- 
tada no pressuposto de que a formulação e a implementação de políticas 
públicas são processos exclusivamente racionais e lineares, desvincula- 
dos dos processos políticos. 


Essa nova geração de estudos deve seguir na direção do desenvolvimen- 
to de tipologias analíticas, e concentrar-se na identificação das variáveis 
que causam impactos sobre os resultados das políticas. Isso implica a su- 
peração da dicotomia dos estudos em se analisar sucessos ou fracassos 
para um estágio em que se enfatize o melhor entendimento dos próprios 
resultados (Souza, 2003). 


No entender de Carvalho (200, p. 186), ao se considerar que o sistema 
das políticas públicas é um processo em fluxo, por associação uma dada 
política pública não poderia estruturar-se como sequência linear de fases: 


a abordagem que melhor expressa o quadro real das políticas públicas é a 
que a considera um processo contínuo de decisões que, se de um lado pode 
contribuir para ajustar e melhor adequar as ações ao seu objeto, de outro, 
pode alterar substancialmente uma política pública. 


Ao final de seu balanço sobre o estágio atual da disciplina de políticas 
públicas no Brasil, Souza (2003) comenta que já existe uma quantidade 
relevante de estudos sobre políticas públicas nacionais e sobre políti- 
cas locais, mas sabe-se muito pouco sobre questões cruciais na esfera 
estadual, como, por exemplo, as diferenças tão marcantes nas políticas 
formuladas e/ou implantadas pelos governos estaduais. 


Diante da breve contextualização histórica das políticas públicas no Bra- 
sil e no mundo, é possível fazer a mesma análise para as avaliações de 
políticas, programas e projetos de natureza pública. Assim, os esforços e 
estudos de avaliação de políticas públicas se desenvolveram em diversas 
fases. De acordo com a literatura sobre o assunto, Faria (2005) afirma 
que existe uma diversidade de maneiras de se pensar a evolução do pa- 
pel atribuído à pesquisa avaliativa, desde o boom da avaliação de políti- 
cas públicas nos Estados Unidos, principalmente após a década de 60. 


Uma classificação é fornecida por Derlien (2001). Ele parte da distinção 
das três funções básicas atribuídas à avaliação — informação, realocação 
e legitimação — para dividir em três as fases evolutivas das pesquisas 
de avaliação, dos anos 1960 aos anos de 1990. Nos anos 1960, a ênfase 
política sobre a avaliação de políticas públicas preponderou sobre a fun- 
ção de informação. O foco era a melhoria dos programas, e os gerentes 
tinham interesse em usar a avaliação como mecanismo de feedback. A 
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função (re)alocação foi predominante nos anos 1980, durante a segun- 
da etapa de institucionalização, a qual estava claramente destinada a 
promover uma alocação racional de recursos no processo orçamentário 
(DERLIEN, 2001; ALA-HARJA; HELGASON, 2000). 


Durante a década de 90, a tônica política na avaliação de políticas pas- 
sa a ser a função de legitimação. Esse deslocamento, segundo Derlien 
(2001) e Faria (2005), teria sido causado por fatores político-econômicos 
específicos, havendo, também, uma mudança dos atores dominantes. A 
influência da nova administração pública é percebida na década de 90, 
quando os avaliadores se convertem em auditores que privilegiam a me- 
dição dos resultados. Assim, a avaliação é substituída (novos mercados 
internos surgem como avaliadores intrínsecos), complementada (a regu- 
lamentação de monopólios privatizados cria uma enorme demanda por 
avaliações) e aplicada a novas questões (novas ferramentas de avaliação, 
como os contratos) (FARIA, 2005; ALA-HARJA; HELGASON, 2000). 


A partir dos anos 1990, na América Latina, ocorre um questionamento 
crescente sobre o tamanho e a eficiência do setor público. Daí surgiram 
novas iniciativas para desenhar e pôr em marcha processos de avaliação 
(MOKATE, 2002). Para Faria (2005), nas décadas de 80 e 90, a avaliação 
das políticas públicas foi posta a serviço da reforma do setor público, 
entretanto a avaliação não se circunscreve a um tipo específico de Estado 
ou cultura administrativa. 


Faria (2005, p. 99) assinala que o desenho das reformas do setor público 
privilegiou dois supostos básicos: 


a adoção de uma perspectiva de contenção dos gastos públicos, de busca 
de melhoria da eficiência e da produtividade, de ampliação da flexibilidade 
gerencial e da capacidade de resposta dos governos, bem como de maximi- 
zação da transparência da gestão pública e de responsabilização dos gesto- 
res, em um processo no qual o “consumidor” dos bens e serviços públicos 
estaria, supostamente, em primeiro plano. O segundo propósito ou expec- 
tativa é de que tais reformas pudessem contribuir para uma reavaliação da 
pertinência das organizações governamentais preservarem todo o seu leque 
tradicional de atribuições, prevalecendo um contexto de valorização da pro- 
visão privada de bens e serviços. 


Assim, a avaliação ganha centralidade porque se esperava que garantisse 
a credibilidade do processo de reforma e sustentabilidade política das di- 
retrizes de desregulamentação e de diminuição do tamanho do governo, 
seja pelo deslocamento das funções e dos serviços para as esferas sub- 
nacionais, seja pela via da privatização (ALA-HARJA; HELGASON, 2000; 
FARIA, 2005). 


Processo este desenvolvido no Brasil na última década do século XX, 
interrompido no início do século XXI, mas retomado, até certo ponto, a 
partir da metade da segunda década do século XXI. Assim, encontra-se 
em curso, no momento em que este livro é escrito, uma nova fase de 
transformação do Estado brasileiro, com políticas de cunho neo-liberal, 
às quais não se faz aqui nenhum juízo de mérito, até por ser algo em 
andamento, que só poderá ser avaliado no futuro. 


1.4 Visões Pós-Estruturalistas e Dimensão Política 
da Avaliação 


Anteriormente ao pós-estruturalismo prevalecia nas ciências humanas, 
com reflexo nas sociais e sociais aplicadas, os paradigmas estruturalista 
e positivista, que possuem pontos de conexão. O estruturalismo foi um 
movimento intelectual desenvolvido na Europa, na primeira metade do 
século XX, que defendia que a cultura humana pode ser entendida através 
da estrutura. Sua origem se deu na psicologia, perpassando por outras 
áreas do conhecimento, tais como a linguística, a sociologia, a antropo- 
logia e a filosofia “Basicamente a intenção do método estruturalista, para 
qualquer uma das ciências mencionadas, é identificar estruturas gerais 
de um todo analisando as suas partes (PORFÍRIO, [2020?]), modelo bas- 
tante próximo da visão positivista do Direito (SALOMÃO FILHO, 2012). 


Assim, “[...] perdurava a racionalidade, em detrimento de qualquer inter- 
venção emocional, ideológica, cultural ou histórica, revestida pela máxima 
cartesiana cogito, ergo sum [...]” (CARDOZO, 2014, p. 121). Esta máxima, 
que significa “penso, logo existo”, “[...] patenteou o ideário de que o ho- 
mem através da razão pura, poderia chegar a um cientificismo objetivo, 
neutro, desvelando as verdades necessárias ao estabelecimento do que 
se chamou ciência racional” (CARDOZO, 2014, p. 121-122). Portanto, 
as éticas estruturalista e positivista são extrínsecas à realidade social que 
vai além das estruturas. Os pesquisadores, como parte de uma estrutura 
imutável, são totalmente passivos, imparciais e desinteressados. São “[...] 
apenas como um informante dos tomadores de decisões: eles não trans- 
formam, não refletem, não participam [...]” (CARDOZO, 2014, p. 122). 


De forma diametralmente oposta, o pós-estruturalismo é caracterizado 
pela recusa em atribuir à lógica cartesiana, ao sujeito ou ao ser huma- 
no, qualquer privilégio axiológico, privilegiando a subjetividade. Assim, 
é possível dizer que o pós-estruturalismo não condiz nem com o estru- 
turalismo, nem com o positivismo, já que os mesmos utilizam meta- 
teorias positivadas para embasar esquemas teóricos pré-concebidos de 
uma visão de mundo única, estruturada e positivada, que coisifica o ser 
humano e suas relações. Desta forma, são típicas da abordagem pós- 
-estruturalista uma perspectiva antidogmática e antipositivista. 


Atualmente há disputa por legitimidade e espaço acadêmico entre os pa- 
radigmas de pesquisa estruturalistas e positivistas e os paradigmas pós- 
-estruturalistas e pós-positivistas. Estes últimos, característicos da pós- 
-modernidade e representados pelas teorias críticas, pós-estruturalistas, 
pós-modernistas entre outras. Tal lide não objetiva a hegemonia inte- 
lectual e paradigmática de um sobre o outro, o que também não parece 
salutar, mas visa o reconhecimento da validade de ambos, o que parece 
estar ocorrendo, na medida em que há em curso uma reconfiguração 
das estruturas positivistas. Assim, as ciências sociais e sociais aplicadas 
vêm adotando práticas e teorizações mais interpretativas, pós-modernas 
e críticas (CARDOZO, 2014). 
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As novas tecnologias, notadamente as redes sociais, deixaram escancara- 
da a atual crise mundial de representação e representatividade, em uma 
sociedade ocidental, eminentemente baseada na democracia represen- 
tativa. Se isso é uma realidade na política, também o é na ciência. Logo, 
“não há mais como negar a participação do sujeito, da sociedade, da 
cultura e da história na elaboração de metodologias” (CARDOZO, 2014, 
p. 123) aplicáveis às ciências sociais e sociais aplicadas e, em especial 
para esta obra, à Administração Pública. 


Desta forma, as teorias pós-estruturalistas promovem heterogeneidade e 
inovam ao trazer ao campo científico questões de identidade, alteridade, 
diferença, gênero, raça, etnia e sexualidade. Ou seja, reconhece o multi- 
culturalismo e traz a subjetividade para dentro da pesquisa científica, até 
então, considerada neutra pelos positivistas (CARDOZO, 2014). Proces- 
so esse que também ocorre na Administração Pública, notadamente na 
avaliação de políticas públicas, como é o caso das avaliações participati- 
vas, O que será abordado no capítulo 3 deste livro. 


A visão pós-estruturalista aplicada às avaliações de políticas públicas se 
aproxima daquela de Michel Foucault, na qual “[...] problematiza impe- 
rativos e promessas de inclusão social que contribuem para instituir pro- 
cessos de responsabilização dos sujeitos tanto pelo sucesso ou fracasso 
das ações previstas [...] quanto pela busca de soluções para os proble- 
mas que vivenciam no cotidiano dos serviços” (MEYER, 2014, p. 1001), 
sejam em projetos, programas ou políticas públicas de forma geral. Des- 
ta forma os beneficiários dos serviços públicos, no pós-estruturalismo, 
não são sujeitos passivos na avaliação das políticas públicas, mas atores 
ativos e participativos do processo de avaliação e monitoramento destas. 
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Figura 1: Beneficiários das políticas públicas enquanto sujeitos ativos 

Fonte: Brasil de Fato/Caco Argemi 
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Esta obra está licenciada nos termos da Licença Creative Commons Atribuição- 
-NãoComercial-Compartilhalgual 3.0 Brasil, podendo a OBRA ser remixada, 
adaptada e servir para criação de obras derivadas, desde que com fins não co- 
merciais, que seja atribuído crédito ao autor e que as obras derivadas sejam 


licenciadas sob a mesma licença. 


2.1 Introdução 


Para iniciar o estudo das políticas públicas é necessário nos perguntarmos 
como se faz a análise delas. A fim de responder a essa pergunta, primeira- 
mente vamos tentar esclarecer o que é análise de políticas públicas. 


Uma definição correntemente aceita sugere que a Análise de Política tem 
como objeto os problemas com que se defrontam os formuladores de 
política (policy makers) e como objetivo auxiliar o seu equacionamento. 
Na visão de Wildavsky (1979, p. 17): 


[...] o papel da Análise de Política é encontrar problemas onde soluções 
podem ser tentadas, ou seja, “o analista deve ser capaz de redefinir proble- 
mas de uma forma que torne possível alguma melhoria”. Portanto, a Análise 
de Política está preocupada tanto com o planejamento como com a política 
(politics). 


Segundo este mesmo autor (1979, p. 15), a Análise de Política é uma 
empreitada multidisciplinar que visa interpretar as causas e consequên- 
cias da ação do governo. Embora há muito tempo cientistas sociais já 
tivessem se interessado por questões relativas à atuação do governo e às 
políticas públicas, o que é novo é a escala em que elas passam a ocorrer 
a partir dos anos de 1970, e o ambiente mais receptivo que passa a exis- 
tir por parte dos governos. 
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Ham e Hill (1993) apontam que a preocupação com as políticas públicas, 
que dá origem ao surgimento da Análise de Política, acentua-se no início 
da década de 60 e tem origem em duas vertentes: 


* as dificuldades por que passavam os formuladores de política frente 
à complexidade cada vez maior dos problemas com que se depara- 
vam, fato que os levou paulatinamente a buscar ajuda para a constru- 
ção de alternativas e propostas para soluções; e 


* a atenção de pesquisadores acadêmicos em ciências sociais (ciência 
política, economia, sociologia), que progressivamente passaram a 
trabalhar com questões relacionadas às políticas públicas e procu- 
raram construir e aplicar conhecimentos à resolução de problemas 
concretos do setor público. 


Ham e Hill (1993) classificam os estudos de Análise de Política em duas 
grandes categorias: 


* a análise que tem como objetivo produzir conhecimentos sobre o 
processo de elaboração política (formulação, implementação e ava- 
liação) em si, revelando, assim, uma orientação predominantemente 
descritiva. Esta categoria corresponde, na literatura anglo-saxã, ao 
que se conhece como analysis of policy, referindo-se à atividade aca- 
dêmica visando, basicamente, o melhor entendimento do processo 
político; e 


* a análise destinada a auxiliar os formuladores de política, agregando 
conhecimento ao processo de elaboração de políticas, envolvendo- 
-se diretamente na tomada de decisões, assumindo um caráter pres- 
critivo ou propositivo. Corresponde, na literatura anglo-saxã, ao que 
se conhece como analysis for policy, referindo-se à atividade aplicada 
voltada à solução de problemas sociais. 


Na realidade, a Análise de Política pode ter por objetivo tanto melhorar o 
entendimento acerca da política e do processo político, como apresentar 
propostas para o aperfeiçoamento das políticas públicas. 


Mesmo a analysis for policy, que supõe um interesse não (apenas) acadê- 
mico e aplica o instrumental da administração visando à sua consecução, 
demanda a analysis of policy como etapa prévia. Se assim não for, e se o 
processo de elaboração da política não for entendido como um proces- 
so político, esse instrumental será ineficaz por ser inconsistente com o 
mundo real. 


Ao serem elaboradas, as políticas públicas podem se basear em várias 
metodologias, dentre as quais se destacam: 


* o método racional-compreensivo, que se relaciona com a macropolí- 
tica e suas grandes análises do cenário político-institucional; e 


* o método incrementalista, que se liga à micropolítica e à busca de 
soluções para problemas mais imediatos e prementes. 


Lindblom (1981) critica o modelo racional e o macroplanejamento polí- 
tico e econômico para as políticas públicas. Para ele, o método racional- 
-compreensivo parte da perspectiva de que a intervenção de políticas 
públicas deve basear-se numa ampla análise dos problemas sociais que 
permita estabelecer metas visando atender às preferências mais relevan- 
tes da sociedade. Assim sendo, a tomada de decisões políticas e a sua im- 
plementação visariam a alcançar os objetivos previamente estabelecidos. 


O autor entende que, nesse método, as decisões, geralmente, são toma- 
das sem se considerar as preferências do conjunto dos atores. Além dis- 
so, requer o processamento de uma enorme quantidade de informações 
e muito tempo para que seja realizada a análise das consequências de 
cada uma das alternativas para a consecução dos objetivos. Esse método 
é definido por Lindblom como “análise política”, que exige a adequação 
de meios e fins. 


Para o autor, no entanto, as demandas da sociedade exigem decisões 
rápidas, ou até mesmo imediatas. Daí a sua defesa do método incre- 
mental, na medida em que, nele, as decisões são tomadas não segundo 
programas e seus objetivos previamente definidos, mas, sim, de acordo 
com problemas que necessitam de soluções imediatas. 


Já no método racional-compreensivo, a análise política exige a adequa- 
ção de meios e fins. No mundo real, porém, o imediatismo das decisões 
torna a análise muito voltada para a solução de problemas, sem se levar 
em consideração a racionalização das relações entre os meios e os fins. 


Segundo Lindblom (1981), o único critério para uma boa política pública 
é o do consenso possível em torno de uma solução, e isso é mais facil- 
mente obtido quando se abordam questões pontuais. Pelo seu amplo 
escopo e complexidade, a análise macropolítica dificilmente é capaz de 
produzir consensos. 


Assim, Lindblom (1981) propõe trabalharmos com a análise de políticas 
específicas, buscando soluções setoriais dos problemas. Em resumo, ele 
propõe a redução e a limitação do foco das análises, de maneira a iden- 
tificar problemas específicos e pontuais. 


2.2 As Principais Abordagens na Análise de Políticas 
Públicas e o Modelo Sistêmico 


O trecho que segue foi extraído e adaptado da obra Políticas Públicas: 
a implementação como objeto de reflexão teórica e como desafio prá- 
tico — de Ângela Maria Siman. Tese de Doutorado em Ciência Política. 
Universidade Federal de Minas Gerais, Faculdade de Filosofia e Ciências 
Humanas. Belo Horizonte, 2005. Capítulo 1, p. 28-38. 
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Não é raro encontrar, entre os estudiosos de políticas públicas, uma dis- 
cussão acerca da capacidade explicativa dos modelos e conceitos criados 
para analisá-las. Para desenvolver um estudo sobre políticas públicas, 
nada melhor do que começar com o trabalho de Dye (1981), que iden- 
tifica os vários paradigmas de análise existentes na literatura, mostrando 
as vantagens e desvantagens de cada um deles. São eles: modelo insti- 
tucional; de processo; de grupos; de elites; racional; incremental; teoria 
dos jogos; e modelo de sistema (SIMAN, 2005, p. 28-38). 


No modelo institucional, cuja ênfase é posta no papel do Estado na pro- 
dução das políticas públicas, pouca atenção é dada à ligação entre a es- 
trutura das instituições políticas e o conteúdo da política. Os estudos 
geralmente descrevem instituições governamentais específicas — sua es- 
trutura, organização, deveres e funções — sem inquirir, sistematicamente, 
sobre o impacto das características institucionais sobre os resultados da 
política. 


Mas isso não significa que a abordagem estrutural no modelo institucio- 
nal seja incompleta ou insuficiente, pois as instituições governamentais 
são realmente padrões estruturados de comportamento de indivíduos 
e grupos que podem afetar a formulação da política. Nesse sentido, as 
instituições podem ser estruturadas tanto para facilitar algum tipo de 
política, quanto para obstruir outros, assim como para defender certos 
interesses em detrimento de outros afetando, desse modo, o padrão de 
distribuição de bens sociais. Logo a estrutura das instituições governa- 
mentais pode provocar importantes consequências nas políticas. 


No modelo da teoria do grupo, a política é vista como processo de ob- 
tenção de equilíbrio entre os interesses de diferentes grupos, e as análi- 
ses sempre começam com a proposição de que a interação entre eles é o 
fato central nas políticas. Indivíduos com interesses comuns associam-se 
para impor, formal ou informalmente, suas demandas sobre o governo 
e, nesse sentido, os grupos são o meio de intermediação entre os indiví- 
duos e os governos. A política é concebida como a luta entre grupos que 
visam influenciar a política pública; a tarefa do sistema político é oferecer 
o ambiente institucional para a administração desses conflitos. 


Política pública é, para esta teoria, o equilíbrio alcançado nessa luta. Con- 
sequentemente, as mudanças que afetem qualquer grupo de interesse 
podem resultar em mudanças na política, uma vez que elas se movem 
na direção desejada por aqueles que têm mais influência. Esta é determi- 
nada pelo número de participantes, pelo tamanho da riqueza, pelo grau 
de organização e capacidade de liderança de cada grupo, pela sua coesão 
interna e pelo grau de acesso aos tomadores de decisão. 


Estes respondem, frequentemente, às pressões de grupos — barganhan- 
do, negociando e comprometendo-se no meio de demandas competiti- 
vas de grupos de influência — que por sua vez tentam formar coalizões 
majoritárias. 


O modelo elitista vê a política como resultado de preferências e valores 
de elites governamentais; portanto, a política pública não é vista como 
reflexo de demandas dos governados. 


Os adeptos desse modelo partem da premissa de que as pessoas, em 
geral, são apáticas e mal informadas sobre política pública e que são 
as elites os agentes que moldam a opinião pública e não o contrário, 
ou seja, os sentimentos de massa são frequentemente manipulados por 
elas, e a comunicação entre elas e a massa é realizada sempre de cima 
para baixo (downward). Em outras palavras, os administradores e oficiais 
cumprem as decisões dos que ocupam posições de poder, uma vez que 
as demandas não surgem das massas, mas das elites. 


Uma das implicações desse modelo para a análise política é que, se as 
demandas não emergem das massas, mas provêm dos interesses e valo- 
res das elites, e as mudanças e inovações são resultados de redefinições 
dos valores delas próprias, as políticas são, na maioria das vezes, modlifi- 
cadas, mas raramente são substituídas. Isso é explicado pelo pressupos- 
to caráter conservador das elites, que querem deixar tudo como está e, 
dessa maneira, a mudança na política pública será mais incremental que 
revolucionária. É importante ressaltar ainda que, nessa perspectiva, as 
elites formam um consenso sobre as normas fundamentais do sistema 
social, concordam sobre as regras do jogo, tanto quanto com a continu- 
ação da forma vigente do próprio sistema social. Nesse sentido, a esta- 
bilidade e a sobrevivência do sistema político dependem do consenso e 
dos interesses delas. 


Enfim, todo o processo de tomada de decisão é visto, nesse modelo, 
como determinado pelas elites governamentais, e as instituições demo- 
cráticas, como as eleições e os partidos, têm apenas um valor simbólico 
visto que elas ajudam a ligar os governados ao sistema político ao ofe- 
recer-lhes a prerrogativa de serem eleitores e de escolherem um partido 
político com o qual se identifiquem. 


O modelo de política racional sustenta que a política é o cumprimento 
eficiente de metas. A política é racional quando é mais eficiente, isto 
é, se a razão entre os valores alcançados e os recursos despendidos é 
positiva e maior que qualquer alternativa visualizada para a obtenção de 
objetivos determinados. Essa ideia de eficiência envolve o cálculo dos 
valores sociais, políticos e econômicos sacrificados ou alcançados pela 
política pública. 


A teoria pressupõe, portanto, que os tomadores de decisão conhecem 
todas as preferências e valores da sociedade e sua importância relativa; 
conhecem bem todas as alternativas políticas possíveis e suas consequ- 
ências; fazem o cálculo de custos entre os valores alcançados e os cus- 
tos de realização; selecionam a alternativa política mais eficiente. Dito 
de outro modo, uma política racional requer informação sobre políticas 
alternativas, capacidade preditiva sobre as consequências e competência 
para calcular corretamente a relação entre custos e benefícios. 
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É um modelo, portanto, altamente prescritivo, já que assume que os 
resultados serão ótimos se o processo planejado for seguido. É também 
descritivo, já que tende a considerar as decisões empíricas como resul- 
tado de cálculo de um decisor que tem todas as informações sobre al- 
ternativas, custos e consequências das distintas opções e que pretende 
maximizar suas preferências. 


Mas esse modelo de tomada de decisão racional contém uma série de 
limitações e uma delas é a sua reduzida capacidade de explicar a autono- 
mia e o poder discricionário dos indivíduos no interior de organizações, 
como também a de não considerar o quadro político mais global ou a 
possibilidade de que a determinação dos fins depende de um amplo nú- 
mero de variáveis econômicas, políticas, sociais e culturais, não inteira- 
mente manipuláveis pelos decisores. 


O modelo incrementalista vê a política pública como continuação de 
atividades governamentais passadas e que recebem apenas algumas mo- 
dificações incrementais. 


Nessa perspectiva, os tomadores de decisão aceitam a legitimidade dos 
programas estabelecidos e tacitamente concordam em dar continuidade 
às políticas já existentes, uma vez que, para desenvolver políticas di- 
ferentes, é necessário tempo, competência e recursos financeiros para 
investigar todas as possibilidades de políticas existentes, recursos esses 
nem sempre disponíveis para os decisores. Os programas já existentes 
podem ter implicado grandes investimentos — dinheiro, construções, dis- 
posição psicológica, práticas administrativas e estrutura organizacional 
— que dificultam qualquer tipo de mudança radical, ou seja, na práti- 
ca política e administrativa só se pode considerar políticas alternativas 
que causem pouco deslocamento administrativo, organizacional, físico 
e econômico. 


Nessa abordagem, as características dos próprios tomadores de decisão 
são também consideradas, pois o modelo reconhece que raramente os 
seres humanos agem para maximizar todos os seus valores, mas fre- 
quentemente agem para satisfazer demandas específicas. 


Além do mais, políticas novas ou diferentes podem ter consequências 
imprevisíveis e isso faz com que os tomadores de decisão as evitem 
em condições de incerteza. Finalmente, em uma sociedade pluralista e 
na ausência de qualquer acordo geral sobre metas, ou valores sociais 
globais, fica mais fácil para o governo continuar com os programas já 
existentes. Nessa perspectiva, o incrementalismo é politicamente conve- 
niente, já que os acordos são mais fáceis quando os pontos em disputa 
se referem apenas ao aumento ou redução de orçamentos, ou a modifi- 
cações no programa. 


No modelo da teoria dos jogos a política é vista como escolha racional de 
atores em uma situação competitiva. Trata-se de decisões racionais em 
situações nas quais dois ou mais participantes têm que escolher entre 
opções dadas e os resultados dependem das escolhas feitas por cada um 
deles, separadamente. 


A teoria dos jogos é um modelo abstrato e dedutivo de policy making, 
que não descreve como as pessoas realmente tomam decisões, mas, 
sim, como elas se posicionam diante de circunstâncias competitivas. 


Finalmente, há o modelo sistêmico, em que a política é definida como 
resposta de um sistema político a forças geradas no ambiente. O siste- 
ma político é o conjunto de estruturas e processos inter-relacionados 
que funcionam para produzir alocações de valores para a sociedade. O 
conceito de sistema implica uma série de instituições e atividades na 
sociedade que funcionam para transformar demandas em decisões im- 
perativas, requerendo suporte legitimador da sociedade como um todo. 
Implica também que os elementos do sistema são inter-relacionados, 
que ele pode responder a forças do seu ambiente e que fará isso para se 
autopreservar. 


As forças que afetam o sistema político são os inputs e o ambiente é 
qualquer condição ou circunstância definida como limite externo ao sis- 
tema político. Os outputs do sistema político são alocações imperativas 
de valores do sistema, expressas como decisões e políticas públicas. 


Os inputs são recebidos pelo sistema na forma de demandas e apoios; 
as demandas emergem quando indivíduos ou grupos, em resposta às 
condições ambientais, agem para afetar o conteúdo da política pública. 


De acordo com o exposto, podemos afirmar que as demandas podem 
ser, por exemplo, reivindicações de bens e serviços, como saúde, edu- 
cação, estradas, transportes, segurança pública, normas de higiene e 
controle de produtos alimentícios, previdência social etc. Ou, ainda, de- 
mandas de participação no sistema político, como reconhecimento do 
direito de voto dos analfabetos, acesso a cargos públicos para estran- 
geiros, organização de associações políticas, direitos de greve etc. Ou, 
ainda, demandas de controle da corrupção, de preservação ambiental, 
de informação política, de estabelecimento de normas para o comporta- 
mento dos agentes públicos e privados etc. 


Os apoios nem sempre estão diretamente vinculados a cada demanda ou 
política específica. Geralmente, estão direcionados para o sistema político 
ou para a classe governante. Por outro lado, embora os inputs de apoio 
nem sempre estejam diretamente vinculados a uma política, eles não po- 
dem estar sempre totalmente desvinculados das políticas governamen- 
tais, pois nesse caso o governo não conseguiria cumprir seus objetivos. 


Podemos destacar como exemplos de apoio a obediência e o cumpri- 
mento de leis e regulamentos; atos de participação política, como o sim- 
ples ato de votar e apoiar um partido político; o respeito à autoridade dos 
governantes e aos símbolos nacionais; a disposição para pagar tributos 
e para prestar serviços, como por exemplo o serviço militar etc. Mas 
podem ser também atos mais fortes, como o envolvimento na imple- 
mentação de determinados programas governamentais, a participação 
em manifestações públicas etc. 
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Esses são apoios passivos, pois não exigem nenhum esforço especial por 
parte dos atores envolvidos e podem resultar até mesmo da conformida- 
de obtida mediante a socialização. Mas os apoios podem ser também ati- 
vos, quando se trata de atos conscientes e deliberados, como o envolvi- 
mento na implementação de determinados programas governamentais, 
a participação em manifestações públicas etc. 


Além disso, os apoios podem ser afirmativos, quando expressam legi- 
timação, credibilidade; ou, negativos, quando representam a negação 
da legitimidade. Assim, quando, por exemplo, ocorre a sonegação de 
impostos, a abstenção eleitoral ou as manifestações populares contra 
governantes, está ocorrendo uma negação de apoio — seja ao governo, 
seja ao próprio regime político. 


Qualquer que seja o seu tipo, os inputs ocorrem nos vários níveis sis- 
têmicos. Existe, por definição, um sistema internacional/global, no qual 
têm lugar relações diversas entre múltiplos atores: Estados nacionais (pa- 
íses), blocos regionais (Mercosul, União Europeia, por exemplo), orga- 
nismos internacionais, atores transnacionais (como o sistema financeiro 
global, corporações multinacionais, grupos terroristas, crime organiza- 
do, ONGs etc.). 


Os inputs de demanda e de apoio não estão restritos 
ao plano interno de uma sociedade nacional. 


De fato, principalmente no mundo contemporâneo, no qual se aprofun- 
dou a globalização da economia, se expandiram as redes comunicacio- 
nais planetárias e se fragilizaram as barreiras nacionais, cada país é — 
cada vez mais — afetado pelo que acontece internamente com os outros 
países. Basta lembrar os abalos que a economia brasileira vem sofrendo 
atualmente, provocados pela crise econômica dos países do Hemisfério 
Norte. 


Além disso, nos mais diversos aspectos da vida dos países — religião, 
economia, cultura, ciência e tecnologia etc. - surgem questões cuja re- 
solução pode envolver, direta ou indiretamente, interesses de outros pa- 
íses. Exemplos claros disso são as questões ambientais, os problemas de 
segurança sanitária, os conflitos religiosos e étnicos etc. 


Um dos componentes desse sistema internacional/global são as socie- 
dades nacionais, que formam, cada uma delas, um sistema nacional. 
Este, geralmente, é visto como um composto de diversos subsistemas. 


Entre eles: 


* subsistema econômico (relações de produção, troca, circulação de 
bens e serviços); 


* subsistema social (relações de classe, gênero, etnia, gerações etc.); e 


* subsistema cultural (manifestações artísticas, religiosas etc.). 


Entre os subsistemas destacamos o subsistema político, que é o conjun- 
to das instituições do Executivo, do Legislativo, do Judiciário, instituições 
de representação de interesses, quadro administrativo público e forças 
de segurança pública. No subsistema político tem lugar o processamento 
dos inputs: formação da agenda governamental, formulação das alterna- 
tivas para atender às demandas, tomada de decisão, implementação das 
políticas. É também onde se originam e se manifestam os withinputs”. 


O modelo sistêmico, representado na Figura 2, identifica as dimensões 
significativas do ambiente que geram as demandas para o sistema políti- 
co e as características significativas do sistema político que o capacitam 
a transformar demandas em decisões e políticas públicas e, ao mesmo 
tempo, preservar sua estabilidade; e procura explicar como os inputs 
ambientais afetam o conteúdo da política pública, como as característi- 
cas do sistema político afetam o conteúdo da política pública, e como a 
política pública afeta, através de processos de feedback, o ambiente e a 
dinâmica do sistema político. 


(PES 


Figura 2: Modelo Sistêmico 
Fonte: Adaptada de Easton (1969) 


Esse é o quadro analítico para o estudo de políticas públicas que predo- 
mina nas ciências sociais e que permite uma compreensão mais subs- 
tantiva sobre como elas surgem, estruturam-se e tornam-se diretivas de 
governo em situações específicas. 


1 Withinput — expressa demanda e apoio, distingue-se dos inputs pelo fato de que são provenientes 
do próprio sistema político: dos agentes do Executivo (ministros, burocratas, tecnocratas etc.), dos 
parlamentares, dos governadores de Estado, do Judiciário. Fonte: Elaborado pela autora deste livro. 
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De acordo com Dagnino et al. (2002), Ham e Hill fazem algumas críticas 
à concepção geral do modelo sistêmico. 


* Primeiro, assume uma excessiva redução lógica dos processos, em 
termos de demandas e apoios convertidos em saídas. Ou seja, no 
mundo prático da elaboração de políticas raramente as coisas são tão 
simples. O reconhecimento de alguns processos (manipulação de 
linguagem, criação de crises, imposição de agendas para autoridades 
ou mesmo simulação de políticas, por exemplo) é um importante 
corretivo de ingênuas hipóteses encontradas na teoria dos sistemas. 


* Em segundo lugar, o enfoque sistêmico enfatiza a importância do 
processo central de conversão no interior do sistema político — a 
caixa-preta (black box) -, isto é, da tomada de decisões. No entanto, 
dá-lhe pouca atenção, ao compará-lo às demandas e apoios exter- 
nos. Isso indica a necessidade de os estudos basearem-se não ape- 
nas na análise de sistemas, mas também na dinâmica da tomada de 
decisões. 


* Umaterceira crítica diz respeito ao fato de o sistema e, em particular, 
a forma como os processos ocorrem dentro da caixa-preta consti- 
tuírem o próprio objeto da ação política. A relação entre as entida- 
des de governo está sujeita a ajustes contínuos, na medida em que 
obrigações e orçamentos são alterados. Representações sistemáticas 
do processo de políticas tendem a dar aos conflitos a aparência de 
jogos. Nesse caso, o problema reside na possibilidade de a política 
tratar tanto da garantia de um resultado específico, quanto da mu- 
dança nas regras do jogo. 


A essas objeções é possível acrescentar o risco de a análise resvalar para 
a reificação do sistema e assumir um viés conspiratório que não encontra 
amparo em evidências empíricas e em nada contribui para explicar con- 
sistentemente as políticas públicas. 


2.3 A Concepção do “Ciclo de Políticas” (Policy Cycle) 


As políticas públicas (policies) ocorrem em um ambiente tenso e de alta 
densidade política (politics), marcado por relações de poder, extrema- 
mente problemáticas, entre atores do Estado e da sociedade, entre agên- 
cias intersetoriais, entre os poderes do Estado, entre o nível nacional e 
níveis subnacionais, entre comunidade política e burocracia. Uma forma 
de lidar com essa complexidade, sem descartar a dinâmica sistêmica, é 
associar o modelo sistêmico com o modelo do ciclo de política (policy 
cycle), que aborda as políticas públicas mediante a sua divisão em etapas 
sequenciais. Veja na Figura 3. 


Figura 3: Ciclo das Políticas Públicas 
Fonte: Elaborada pela autora deste livro (Rua, 2014) 


Nesse caso, as etapas são compreendidas não como um processo linear, 
mas como uma unidade contraditória, cujo ponto de partida não está 
claramente definido e as atividades de etapas distintas podem ocorrer si- 
multaneamente ou as próprias etapas podem apresentar-se parcialmente 
superpostas. 


A correta compreensão do ciclo das políticas pode ser de grande valia 
para o gestor, favorecendo seu entendimento correto do processo das 
políticas públicas e auxiliando-o a refletir com clareza sobre como e me- 
diante que instrumentos as políticas poderão ser aperfeiçoadas. 


Na concepção do ciclo de políticas, a política pública é considerada a 
resultante de uma série de atividades políticas que, agrupadas, formam 
o processo político. Essa visão conduz os estudiosos a examinar como 
as decisões são ou poderiam ser tomadas e permite identificar e analisar 
os processos político-administrativos, os mecanismos e estratégias de- 
finidas para a realização da política e o comportamento dos diferentes 
atores envolvidos em cada etapa do processo de produção de políticas. 
O ciclo de políticas é uma abordagem para o estudo das políticas públi- 
cas que identifica fases sequenciais e interativas-iterativas no processo 
de produção de uma política. Essas fases são: 


* formação da agenda, que ocorre quando uma situação qualquer é 
reconhecida como um problema político e a sua discussão passa a 
integrar as atividades de um grupo de autoridades dentro e fora do 
governo; 
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formação das alternativas e tomada de decisão: ocorre quando, após 
a inclusão do problema na agenda e alguma análise deste, os atores 
começam a apresentar propostas para sua resolução. Essas propos- 
tas expressam interesses diversos, os quais devem ser combinados, 
de tal maneira que se chegue a uma solução aceitável para o maior 
número de partes envolvidas. Ocorre, então, a tomada de decisão; 


a tomada de decisão não significa que todas as decisões relativas 
a uma política pública foram tomadas, mas, sim, que foi possível 
chegar a uma decisão sobre o núcleo da política que está sendo for- 
mulada. Quando a política é pouco conflituosa e agrega bastante 
consenso, esse núcleo pode ser bastante abrangente, reunindo deci- 
sões sobre diversos aspectos. Quando, ao contrário, são muitos os 
conflitos, as questões são demasiado complexas ou a decisão requer 
grande profundidade de conhecimentos, a decisão tende a cobrir um 
pequeno número de aspectos, já que muitos deles têm as decisões 
adiadas para o momento da implementação; 


a implementação consiste em um conjunto de decisões a respeito 
da operação das rotinas executivas das diversas organizações envol- 
vidas em uma política de tal maneira que as decisões inicialmente 
tomadas deixam de ser apenas intenções e passam a ser intervenção 
na realidade. Normalmente, a implementação se faz acompanhar do 
monitoramento: um conjunto de procedimentos de apreciação dos 
processos adotados, dos resultados preliminares e intermediários 
obtidos e do comportamento do ambiente da política. O monito- 
ramento é um instrumento de gestão das políticas públicas e o seu 
objetivo é facilitar a consecução dos objetivos pretendidos com a 
política; e 


a avaliação é um conjunto de procedimentos de julgamento dos re- 
sultados de uma política, segundo critérios que expressam valores. 
Juntamente com o monitoramento, destina-se a subsidiar as decisões 
dos gestores da política quanto aos ajustes necessários para que os 
resultados esperados sejam obtidos. 


2.4 Atores Políticos (Stakeholders) 


Nesta seção, estudaremos os atores políticos, identificando os diversos 
tipos e seus recursos de poder. Vamos também discutir como se formam 
e como operam, nas políticas públicas, os interesses e as expectativas 
dos atores. Por fim, vamos procurar entender como se dá o processo de 
escolha racional e o que são os bens públicos que, na realidade, são o 
objeto central das políticas públicas. Vamos começar? 


Conforme já vimos, a política compreende um conjunto de procedimen- 
tos destinados à resolução pacífica de conflitos em torno da alocação de 
bens e recursos públicos. 


Mas, quem são os envolvidos nestes conflitos? 


São os chamados “atores políticos”: aqueles cujos interesses poderão 
ser afetados, positiva ou negativamente, pelo rumo tomado por uma 
determinada política pública. Os atores políticos podem ser indivíduos, 
grupos ou organizações. São específicos e possuem características dife- 
renciadas. 


Para entendermos melhor, vamos distinguir atores públicos de atores 
privados. Os atores públicos são aqueles que se distinguem por exercer 
funções públicas e por mobilizar os recursos associados a estas funções. 
Dentre os atores públicos, por sua vez, podemos diferenciar, numa visão 
generalizada, duas categorias*: 


* Políticos são aqueles atores cuja posição resulta de mandatos eleti- 
vos. Por isso, sua atuação é condicionada principalmente pelo cálcu- 
lo eleitoral e pelo pertencimento a partidos políticos. São os parla- 
mentares, governadores, prefeitos e membros eleitos do Executivo 
federal. 


* Burocratas, por sua vez, devem a sua posição à ocupação de postos 
de trabalho que requerem conhecimento especializado e que se si- 
tuam em um sistema de cargos públicos. São burocratas todos os 
servidores públicos federais, estaduais e municipais que possuem 
esses atributos. Compreendem gestores de alto escalão, chefias in- 
termediárias, e um vasto exército de servidores situados na base da 
administração pública, aparentemente sem grandes recursos de po- 
der, que estão em contato direto e permanente com os cidadãos. 


SAIBA MAIS 


CAIXA DE DIÁLOGO: *Você leitor, que é estudante de Administra- 
ção Pública, certamente tem a noção que a administração pública é 
regulamentada por leis e normas, por isso precisam lidar com con- 
ceitos jurídicos. Diante disso, deve entender que, as supramencio- 
nadas categorias de atores públicos (Políticos e Burocratas), trazidas 
aqui, devidamente, pela atribuição do texto de RUA (2014), são ter- 
mos generalistas e carecedores de rigor jurídico. Embora usados em 
diversos meios, os termos “políticos” e “burocratas” seriam o que 
a doutrina jurídica chama, respectivamente, de agentes políticos e 
servidores públicos. 


Para saber mais acesse: https://enciclopediajuridica.pucsp.br/verbe- 
te/3/edicao-1 /agentes-publicos:-classificacao 


Podemos afirmar que os burocratas controlam, principalmente, recursos 
de autoridade e informação. Embora não possuam mandato, os burocra- 
tas geralmente possuem “clientelas” setoriais. Além disso, eles possuem 
projetos políticos, que podem ser pessoais (como promoções, reconhe- 
cimento em termos de poder ou de gratificações materiais ou simbólicas 
etc.) ou organizacionais (como a fidelidade à instituição, o crescimento 
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da organização à qual pertencem etc.). Por isso, é comum haver não 
apenas disputas entre políticos e burocratas, mas também conflitos entre 
burocracias de diferentes setores ou órgãos do mesmo governo. 


Principalmente quando operam nos níveis intermediários ou inferiores 
da estrutura administrativa, os burocratas são considerados, muitas ve- 
zes, um dos componentes do grupo dos “atores invisíveis”. Ou seja, 
aqueles que praticamente não aparecem nos debates, mas têm interes- 
ses em jogo em uma dada política e podem influenciar fortemente o seu 
curso porque contam com recursos de poder, como informação, conhe- 
cimento do processo administrativo e autoridade. 


Quando falamos das relações entre burocracia e políticas públicas, vale 
destacarmos que a literatura da área faz menção ao grupo conhecido 
como street-level bureaucracy, ou burocracia de nível de rua. Trata-se de 
servidores administrativos que operam na ponta, no atendimento ao pú- 
blico, e que se apresentam como a face pessoal de um governo, podendo 
afetar fortemente a implementação das políticas públicas devido ao seu 
controle de acessos, seu conhecimento do público etc. 


Entre os atores privados destacam-se os empresários. Sem qualquer 
sombra de dúvida, são atores dotados de grande capacidade de influir 
nas políticas públicas, já que são capazes de afetar a economia do País: 
controlam as atividades de produção e o abastecimento, podem afetar o 
equilíbrio do mercado e a oferta de empregos. 


Outro ator importante são os trabalhadores. O seu poder resulta da ca- 
pacidade de ação organizada; portanto, atuam através de seus sindica- 
tos. Estes eventualmente podem estar ligados a partidos, ONGs* e até 
mesmo a igrejas. 


SAIBA MAIS 


CAIXA DE DIÁLOGO: *A sigla ONG significa Organização Não Go- 
vernamental, conhecida também como terceiro setor, em oposição 
ao 1º Setor (Governamental) e ao 2º Setor (Privado). No entanto, 
o termo ONG é uma expressão genérica e não jurídica. Na realida- 
de a ONG é uma organização da sociedade civil que tem natureza 
jurídica de pessoa jurídica de direito privado sem fins lucrativos, 
normalmente constituída como associação ou fundação 


Para saber mais acesse: 

* Site da Associação Brasileira de ONGs: <https://abong.org.br/> 

* Manual do Terceiro Setor da Associação Brasileira das ONGs: 
<https://www.abong.org.br/final/download/manualdotercei- 
rosetor,pdf> 

* O Marco Regulatório das Organizações da Sociedade Civil: 
<http://www.planalto.gov.br/ccivil 03/ ato2011-2014/2014/ 
lei/13019.htm > 


No caso dos trabalhadores, é importante considerarmos que, dependen- 
do da importância estratégica do setor ou da posição estratégica da área 
em que atuam, podem dispor de maior ou menor poder de pressão, 
alguns deles sendo capazes de paralisar um país. Por exemplo, cami- 
nhoneiros, trabalhadores da aviação, das comunicações ou dos núcleos 
informatizados das empresas. 


Via de regra, os trabalhadores tendem a se manifestar por intermédio 
de suas organizações sindicais, reunidas, ou não, em grandes confede- 
rações, como a Central Única dos Trabalhadores (CUT), a Confederação 
Geral dos Trabalhadores (CGT) e outras. 


Além dos que se inserem numa relação de emprego formal, há ainda os 
trabalhadores informais, os autônomos e os profissionais liberais. Es- 
tes podem se manifestar ou por meio de sindicatos profissionais ou por 
meio de associações, que podem ir desde as recentes Associações de 
Catadores de Lixo etc. até entidades mais antigas como a Ordem dos 
Médicos, a Ordem dos Advogados etc. 


Ainda no sistema nacional temos presentes outros atores, situados além 
das relações entre o capital e o trabalho. Compreendem um universo 
extremamente amplo e diversificado, seja quanto às áreas temáticas em 
que atuam, quanto ao estilo de atuação, quanto à capacidade de mobi- 
lização, quanto escopo de ação etc. Podem ser entidades voltadas para 
a defesa de interesses específicos, como associações de moradores, de 
proteção a animais, entidades religiosas, ambientalistas etc. Algumas de- 
las se apresentam como cooperativas, associações, ONGs etc. 


Alguns autores distinguem basicamente dois tipos de atores: 


* governamentais: compreendendo o presidente da República, conse- 
lheiros e ministros, altos burocratas e funcionalismo de carreira, diplo- 
matas, políticos nomeados, parlamentares, funcionários do Legislativo 
e cortes e membros do Judiciário; governadores de Estados e prefei- 
tos; empresas públicas e organizações governamentais diversas; e 


* não governamentais: grupos de pressão, instituições de pesquisa, 
acadêmicos, consultores, organismos internacionais, sindicatos e 
associações civis de representação de interesses, partidos políticos; 
organizações privadas, não governamentais. Nesta categoria estão 
incluídos ainda os empresários políticos, que são indivíduos que 
constroem suas carreiras com base na defesa de interesses de co- 
munidades e grupos, para depois desfrutar de dividendos políticos, 
como projeção política, votos etc. 


Existem ainda outros atores de grande importância no processo político 
que operam no sistema internacional/global. Estes podem ser agentes 
financeiros, como grandes corporações financeiras e empresas multi- 
nacionais, além de instituições como o Fundo Monetário Internacional 
(FMI), o Banco Mundial etc., cuja importância é óbvia no que diz respeito 
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a questões econômicas. Podem ser também organizações multilaterais, 
como todas as agências do sistema Nações Unidas (ONU). Podem ser 
organizações ou governos de países com os quais se mantêm importan- 
tes relações de troca e que podem afetar não apenas a economia, mas 
também a política interna do país. Um exemplo foi a influência do go- 
verno americano, na década de 90, quando pressionou fortemente o go- 
verno brasileiro a aprovar a Lei de Softwares. Outro exemplo é a atuação 
do governo norte-americano no combate ao narcotráfico na Colômbia. 


O cenário internacional/global admite, ainda, os chamados atores trans- 
nacionais, geralmente informais, que atuam em escala global. Esses ato- 
res concentram atomizadamente vastas parcelas de poder, notadamente 
no mercado financeiro e nas telecomunicações, mas também no merca- 
do de armas, como os agentes do terrorismo e o crime organizado. 


Sem dispor de recursos da mesma magnitude, também são chamados 
de atores transnacionais algumas ONGs (Organizações Não Governa- 
mentais) que operam com temáticas transnacionais. Um exemplo* é a 
atuação da Anistia Internacional em questões de direitos humanos. Ou- 
tro exemplo diz respeito às organizações ambientalistas que atuam em 
torno de problemas planetários. 


SAIBA MAIS 


Para saber mais acesse: 

** Anistia Internacional - <https://anistia.org.br/>; 

* WWF-Brasil - <https://wuww.wuf.org.br/>; e 

* GreenPeace - <https://www.greenpeace.org/brasil/> 


Outro fator a ser considerado, embora não atue diretamente, é a mídia. É 
importante assinalarmos que a mídia impressa e/ou eletrônica pode ser, 
ao mesmo tempo ou alternativamente, um ator, um recurso de poder e 
um canal de expressão de interesses. A mídia será um ator quando seus 
interesses estiverem em jogo em uma política pública, como ocorreu 
com a proposta da Lei do Audiovisual* no governo Lula. 


SAIBA MAIS 


Para saber mais: * A Lei do Audiovisual (Lei nº 8.685/93) é uma 
lei federal de fomento ao investimento na produção, infraestrutura 
e exibição de obras cinematográficas e audiovisuais. Prevista ori- 
ginalmente para vigorar até o exercício fiscal de 2003, esta lei foi 
prorrogada por mais 20 anos por meio da medida provisória nº 
2.228-1 de 2001, no governo do então Presidente Fernando Henri- 
que Cardoso. Já o governo Lula, mediante uma proposta legislativa 
(supramencionada), posteriormente aprovada e publicada como Lei 
nº 11.436, de 28 de dezembro de 2006, alterou a destinação de 


receitas decorrentes da Contribuição para o Desenvolvimento da 
Indústria Cinematográfica Nacional -CONDECINE, criada pela Me- 
dida Provisória nº 2.228-1, visando ao financiamento de programas 
e projetos voltados para o desenvolvimento das atividades audio- 
visuais, bem como, prorrogou e institui mecanismos de fomento à 
atividade audiovisual. 


Para saber mais acesse: 

* lei nº8.685/93: <http://muw.planalto.gov.br/ccivil 03/Ieis/ 
18685.htm> 

* MP nº2.228-1/01:  <http:/Ôuw.planalto.gov.br/ccivil 03/ 
mpv/2228-1.htm> 

* Lei nº 11.436/06: <http://www.planalto.gov.br/CCivil 03/. 
Ato2004-2006/2006/Lei/L11437.htm> 


Frequentemente, a mídia é um recurso de poder de atores que têm ca- 
pacidade de mobilizar os instrumentos midiáticos em favor dos seus in- 
teresses. Principalmente os jornais e a televisão são importantes agentes 
formadores de opinião, que possuem capacidade de mobilizar a ação 
de outros atores. Na verdade, principalmente a televisão representa um 
inestimável recurso de poder, devido à sua enorme capacidade de in- 
fluir na agenda de demandas públicas, de chamar a atenção do público 
para problemas diversos, de mobilizar a indignação popular, enfim, de 
influenciar as opiniões e os valores da massa popular. 


Mas, como identificar os atores em uma política pública? 


Existem diversos critérios. Entretanto, o mais simples e eficaz é estabe- 
lecer quem tem alguma coisa em jogo na política em questão. Ou seja, 
para identificar os atores em uma política, precisamos saber quem pode 
ganhar ou perder com tal política, quem tem seus interesses diretamente 
afetados pelas decisões e ações que compõem a política em questão. 


Até aqui mencionamos várias vezes a expressão “recursos de poder”. 
Você sabe o que significa isso? 


Recursos de poder são capacidades que um ou vários atores podem utili- 
zar para pressionar por decisões que sejam favoráveis aos seus interesses. 


Podem envolver desde reputação, posição social, contato com redes de 
influência, controle de dinheiro, de armas, capacidade de denunciar e 
chantagear, inserção internacional, poder de mobilização de grandes gru- 
pos (greves, manifestações sociais), controle de recursos tecnológicos 
(meios informatizados de operação de bancos de dados etc.), capacidade 
de infligir prejuízos (obstrução de estradas, de aeroportos, greves etc.). 
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Os recursos de poder são os elementos que sustentam as alianças e as 
barganhas ou negociações em torno de uma política pública. 


Como você imagina que se comportam os atores no jogo da política? 


Supostamente, eles agem racionalmente, procurando os melhores meios 
para realizar os seus interesses. O comportamento racional implica fazer 
escolhas que, por sua vez, significam renunciar. Ou seja, em qualquer 
situação de escolha sempre haverá pelo menos uma alternativa à qual al- 
guém tem de renunciar quando decide o que quer fazer. Por este motivo 
é que podemos dizer que toda escolha tem seu custo. 


O custo de uma escolha não se limita ao custo monetário (dinheiro gasto 
com algo): é conjunto de todas as coisas às quais alguém tem de renun- 
ciar para obter um benefício. Abrange também o chamado “custo real”, 
ou “custo de oportunidade”: aquilo a que se renuncia ou que se deixa de 
ter pelo mesmo valor. Por exemplo, imagine um prefeito que enfrenta a 
demanda por um hospital. Se ele decide construir um hospital num ter- 
reno vazio de propriedade estatal ou pública, o custo de oportunidade é 
representado pela renúncia a erguer outras construções naquele terreno 
e com o capital investido. Ele terá que descartar, por exemplo a possibi- 
lidade de usar este terreno para construir um centro desportivo, ou um 
estacionamento, ou ainda a venda do terreno para amortizar parte das 
dívidas da prefeitura, e assim por diante. 


Toda ação tem um custo real, ou custo de oportunidade, desde que haja 
escolha. Só não há custo quando a escolha não existe. 


Como as escolhas têm custos, o comportamento racional significa que a 
pessoa escolherá as alternativas, cujos benefícios esperados sejam maio- 
res que os custos estimados. 


A escolha racional, porém, apresenta diversas dificuldades. Primeiro, 
nem sempre os atores têm informação correta e completa sobre as al- 
ternativas. Segundo, nem sempre os atores são capazes de hierarquizar 
suas preferências e saber — de fato — o que querem. Isso muitas vezes 
acontece porque existem conflitos entre o que é o interesse de um ator e 
as normas e os valores que regem suas relações sociais — e a escolha ra- 
cional não se dá num vácuo, mas sim num contexto de normas e valores. 


Um elemento essencial para compreender os problemas da escolha ra- 
cional e da participação na ação coletiva é a natureza dos bens: 


São bens exclusivos, seus 
benefícios são desfrutados por 
uma pessoa ou grupo que o 


Privado possui. 


Logo, não é objeto de política 
pública 


São bens do poder público, que 
todos de um grupo, mesmo os 
que não tenham enfrentado os 
custos de obtê-lo, podem 
desfrutar. 


Logo, é objeto de política 
pública 


São bens de uso comum do 
povo, com titularidade 
indeterminada, que pertence a 


Difuso todos. 


Logo, é objeto de política 
pública 
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Figura 4: A natureza dos bens e as políticas públicas. 
Fonte: Elaborado pelo autor deste livro 


Devido às características dos bens públicos e difusos, o comportamento 
racional nem sempre assegura os resultados mais vantajosos. Isso ocor- 
re porque, como são, respectivamente, bens do poder público ou de 
titularidade indeterminada (pertence a todos), seu uso não é exclusivo, 
podendo todos os membros do grupo desfrutá-los, cria-se, então, a falsa 
impressão de que se trata de uma res nullius, uma coisa de ninguém. 


Quando os bens públicos ou difusos são demandados por grandes gru- 
pos, podemos identificar um problema adicional: a participação de cada 
indivíduo continua tendo os mesmos custos, mas é menos visível e tem 
um peso menor que nos pequenos grupos. Por isso, nos grandes grupos, 
cada indivíduo terá uma tentação muito grande de deixar de participar e 
evitar o custo de obtenção do bem público demandado, transferindo-o 
para outros membros do grupo. Ou seja, cada indivíduo procurará ape- 
nas desfrutar dos benefícios, acreditando que o bem vai ser conquistado 
porque outros participarão em seu lugar. 


Quando isso ocorre, embora o cálculo individual seja racional, o resul- 
tado agregado da ação coletiva é totalmente irracional: como todos ten- 
dem a fazer o mesmo cálculo, a participação será insuficiente, e o grupo 
provavelmente não conquistará o bem público demandado. Ou seja: 
mesmo quando todos agem da maneira mais racional buscando seus 
interesses individuais, o resultado coletivo será insatisfatório. 
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Com os pequenos grupos, a probabilidade de ocorrer o mesmo é muito 
menor, porque a participação de cada um é muito visível, tem um peso 
muito maior, e o custo de coordenar e controlar o grupo é menor. O 
resultado disso é que as demandas dos pequenos grupos tendem a ser 
mais atendidas com políticas públicas do que as dos grandes grupos. 


2.5 Experiências Inovadoras que Criam Novas Esferas 
Públicas de Negociação e de Participação Popular 


Agora, nesta seção, vamos discutir os conselhos, as redes, as parcerias 
e os novos arranjos locais para a negociação e participação popular nas 
políticas públicas. 


Até o início da década de 80, as políticas públicas no Brasil se caracte- 
rizavam pela centralização financeira e decisória na esfera federal, pela 
fragmentação setorial e institucional e pela exclusão da sociedade civil 
do processo de formulação, da implementação dos programas e do con- 
trole da ação governamental. Havia mecanismos de articulação entre o 
Estado e a sociedade, mas a incorporação dos atores ao processo decisó- 
rio era excludente e seletiva. Embora já tenha passado quase meio sécu- 
lo, o relato a seguir, que demonstra tais fatos, é assustadoramente atual: 


As políticas públicas promovidas pelo Estado brasileiro até o início dos anos 
1980 se caracterizavam, em primeiro lugar, pela centralização decisória e 
financeira na esfera federal, cabendo aos estados e municípios — quando 
estes eram envolvidos em uma política específica — o papel de executores 
das políticas formuladas centralmente. Por outro lado, na medida em que os 
recursos eram controlados pelo governo federal e que as esferas locais de 
poder eram expostas diretamente a necessidades e demandas dos cidadãos, 
tendia a estabelecer-se uma articulação entre governos estaduais e munici- 
pais e governo federal baseada na troca de favores de cunho clientelista, em 
que muitas vezes as instâncias locais do poder público transformavam-se em 
agenciadores de recursos federais para o município ou estado, procurando 
garantir a implementação de determinada política pública para sua clientela 
[...] As políticas públicas promovidas pelo Estado incorporavam, portanto, 
interesses da sociedade civil e do mercado, no entanto, tal incorporação era 
excludente e seletiva, beneficiando segmentos restritos dos trabalhadores e 
interesses de segmentos dos capitais nacional e internacional. O próprio in- 
sulamento burocrático não era imune a este processo de “inclusão seletiva” 
de interesses (FARAH, 2001, p. 122-123). 


Com a democratização do País, a agenda de reforma que então se defi- 
niu teve como eixos a democratização dos processos decisórios — com 
a descentralização e a participação dos cidadãos na formulação e im- 
plementação das políticas - e a equidade dos resultados das políticas 
públicas. Participaram da definição dessa agenda os movimentos sociais 
e diversas categorias profissionais envolvidas na prestação de serviços 
públicos, cuja atuação os colocava em contato direto tanto com a popu- 
lação atendida como com os excluídos do atendimento estatal. 


Um pouco mais tarde, no início dos anos de 1990, já sob o impacto 
da crise fiscal e da escassez de recursos, foram introduzidas na agenda 
preocupações com a eficiência, eficácia e efetividade* da ação governa- 
mental, bem como com a qualidade dos serviços públicos. 


SAIBA MAIS 


CAIXA DE DIÁLOGO: *A Emenda Constitucional nº 19, de 04 de ju- 
nho de 1998, introduziu a eficiência aos princípios da administração 
pública, dispostos no caput do Art. 37, do texto constitucional, que 
passou a vigorar da seguinte forma: “Art. 37 A administração pública 
direta e indireta de qualquer dos Poderes da União, dos Estados, do 
Distrito Federal e dos Municípios obedecerá aos princípios de lega- 
lidade, impessoalidade, moralidade, publicidade e eficiência [...]”. 


Para saber mais acesse: 

Emenda Constitucional nº 19, de 04 de junho de 1998: <http:// 
wuw.planalto.gov.br/ccivil 03/constituicao/Emendas/Emc/emc19. 
htmart3 > 


Passaram a ser tentadas engenharias institucionais diversas, destinadas 
a viabilizar novas formas de articulação do Estado com a sociedade civil 
(mediante a ação das ONGs e das comunidades organizadas) e com o 
setor privado, visando à garantia da provisão dos serviços públicos ou à 
constituição de novas modalidades de solidariedade social. A descentra- 
lização, que no período anterior enfatizava a transferência de atribuições 
visando ganhos de eficiência, passa a incorporar a dimensão de redistri- 
buição do poder, favorecendo a democratização das relações entre o Es- 
tado e a sociedade, mediante novas modalidades de arranjos decisórios 
— especialmente os conselhos — e novos padrões de acesso aos serviços. 


Diante deste cenário foram introduzidas novas formas de gestão nas or- 
ganizações estatais visando romper com a rigidez resultante da burocra- 
tização dos procedimentos e da excessiva hierarquização dos processos 
decisórios. 


A importância crescente da ação municipal, especialmente na área social, 
desde a década de 90, chama a atenção para um conjunto de abordagens 
inovadoras e para o estabelecimento de novas esferas de participação e 
negociação entre os atores envolvidos nas políticas públicas. 


A despeito dos grandes avanços obtidos em termos de ampliação do 
acesso, melhoria da qualidade dos serviços e fortalecimento do exercício 
da cidadania, o protagonismo das esferas subnacionais de governo não 
é um processo simples. A descentralização não ocorre de forma homo- 
gênea entre os mais de 6.000 municípios brasileiros e é extremamente 
diversificada a capacidade destes para assumir a gestão de políticas. 
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Além disso, são variáveis os graus de descentralização das diversas po- 
líticas públicas em razão do arcabouço institucional pregresso e do grau 
de indução da descentralização pelos governos federal e estaduais. Con- 
tudo, nem sempre a descentralização viabiliza a superação de caracte- 
rísticas críticas do passado; ao contrário, há casos de intensificação, por 
exemplo, das práticas clientelistas em alguns municípios. 


Ainda assim, são dignos de registro alguns novos arranjos institucionais 
e processos de gestão inaugurados pelos governos locais. Destacamos, 
inicialmente, a promoção de ações intersetoriais, integradas com foco no 
público-alvo, que tem logrado superar a fragmentação setorial e institu- 
cional e alcançar novos padrões de eficiência e efetividade. 


Outro aspecto que vale destacarmos é o estabelecimento de vínculos de 
parceria com outros níveis de governo e com governos de outros muni- 
cípios. Há diversas iniciativas em que os governos municipais procuram 
aliados nas esferas mais abrangentes de governo, bem como programas 
locais que se articulam com políticas estaduais ou federais. 


Quanto à articulação entre governos de diferentes municípios, já existem 
variadas experiências de consórcios intermunicipais, reunindo diversos 
municípios em torno de objetivos comuns e para enfrentar de forma 
cooperativa problemas que excedem a capacidade de resolução de um 
município isolado. 


Nesses novos arranjos há uma corresponsabilização pela política pública 
e seus resultados, ainda que cada participante possa vir a ter papéis dife- 
renciados na implementação das políticas. 


Estão associadas a essas práticas as inovações na forma de inclusão dos 
atores sociais nos processos de formulação e implementação de políticas 
públicas: comunidades organizadas, movimentos sociais, organizações 
não governamentais e setor privado empresarial participam em conse- 
lhos diversos, envolvem-se em projetos comuns, estruturando-se como 
redes de entidades e instituições que somam capacidades que vão além 
da capacidade de ação isolada do Estado na resolução de problemas de 
interesse público. 


Você deve estar se perguntando: até onde vai o envolvimento da 
sociedade e dos cidadãos? Qual o limite deste envolvimento? 


Em algumas áreas, como na saúde e na educação, o envolvimento da 
sociedade e dos cidadãos, através dos conselhos, vai além da formulação 
e da tomada de decisão e atinge a própria gestão dos recursos, a fiscali- 
zação e o controle das políticas públicas. 


O texto que se segue, foi extraído e adaptado de Carla Bronzo Ladeira 
Carneiro: 


Os conselhos* são espaços públicos (não estatais) que sinalizam a possi- 
bilidade de representação de interesses coletivos na cena política e na de- 
finição da agenda pública, apresentando um caráter híbrido, uma vez que 
são, ao mesmo tempo, parte do Estado e da sociedade. Os conselhos são 
canais de participação política, de controle público sobre a ação governa- 
mental, de deliberação legalmente institucionalizada e de publicização* 
das ações do governo (CARNEIRO apud SARAIVA; FERRAREZI, 2006). 


SAIBA MAIS 


CAIXA DE DIÁLOGO: *Publicização é uma das estratégias da refor- 
ma do Estado, que “[...] se apoia na publicização dos serviços não 
exclusivos do Estado, ou seja, na sua absorção por um setor público 
não estatal, onde, uma vez fomentados pelo Estado, assumirão a 
forma de organizações sociais. Essa forma de parceria entre socie- 
dade e Estado, além de viabilizar a ação pública com mais agilidade 
e maior alcance, torna mais fácil e direto o controle social, mediante 
a participação, nos conselhos de administração, dos diversos seg- 
mentos beneficiários envolvidos. As organizações nesse setor go- 
zam de uma autonomia administrativa muito maior do que aquela 
possível dentro do aparelho do Estado. Em compensação, seus di- 
rigentes são chamados a assumir uma responsabilidade maior, em 
conjunto com a sociedade, na gestão da instituição (BRASIL, 1998). 


Para saber mais acesse: 
<https://edisciplinas.usp.br/pluginfile.php/2555549/mod resour- 
ce/content/1/caderno2%20-%20temaB8.pdf>. 


Dessa forma, podemos dizer que os conselhos constituem espaços de 
argumentação sobre (e de redefinição de) valores, normas e procedi- 
mentos, de formação de consensos, de transformação de preferências e 
de construção de identidades sociais. Têm poder de agenda e podem in- 
terferir, de forma significativa, nas ações e metas dos governos e em seus 
sistemas administrativos. Os conselhos, como espaços de formação das 
vontades e da opinião, são também mecanismos de ação, que inserem 
na agenda governamental as demandas e os temas de interesse público, 
para que sejam absorvidos, articulados politicamente e implementados 
sob a forma de políticas públicas. 


Portanto, mais do que um canal comunicacional para ressonância das 
demandas sociais, os conselhos possuem dimensão jurídica e têm poder 
de tornar efetivos as questões, os valores e os dilemas vivenciados no es- 
paço da sociedade civil. Por exemplo, os Conselhos Municipais de Saúde 
integram o sistema de tomada de decisão da política de saúde e devem 
definir as prioridades da saúde no município. 


Desta forma, os conselhos representam instrumentos de democracia 
participativa. Assim, “a Constituição prevê em diversos dispositivos a 
participação da sociedade na administração pública como expressão viva 
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do exercício da cidadania no Estado Democrático de Direito, em que o 
poder emana do povo [...]” (SANTOS, FUNCIA, 2019). Portanto, a ordem 
constitucional pátria é calcada na democracia direta e participativa, com 
a sociedade atuando na formação de determinados atos de governo, o 
que é expresso no texto constitucional em vários dispositivos, tais como: 
participação dos trabalhadores e empregadores nos colegiados dos ór- 
gãos públicos (artigo 10); representação dos empregados nas discus- 
sões com os empregadores (artigo 11); controle dos munícipes sobre as 
contas dos municípios (artigo 31, parágrafo 3º); participação do usuário 
na administração pública (artigo 37, parágrafo 3º); controle social sobre 
irregularidades econômico-financeiras (artigo 74, parágrafo 2º); gestão 
quadripartite da seguridade social (artigo 194, VII); participação da co- 
munidade no SUS (artigo 198, III, e artigo 77, parágrafo 3º, do ADCT); 
participação popular na assistência social (artigo 204, Il); gestão demo- 
crática do ensino (artigo 206, VI); proteção do patrimônio cultural (artigo 
216, parágrafo 1º) (SANTOS, FUNCIA, 2019). 


Contudo, os estudos da atuação dos conselhos têm mostrado, junto com 
uma recorrente dificuldade de efetivar a participação, diversos outros 
problemas. A análise das atividades realizadas pelos conselhos mostra 
que um percentual ainda reduzido deles desenvolve ações específicas 
de advocacy ou de definição de diretrizes, elaboração de diagnósticos e 
capacitação de conselheiros. Grande parte executa tarefas que não cons- 
tituem as atividades-núcleo dos conselhos, que são o motivo maior de 
sua criação. 


Podemos notar que os desafios para que os conselhos sejam de fato o 
canal de expressão de demandas da sociedade, atuando como mecanis- 
mos de accountability (controle público sobre a ação do Estado) e de 
participação cidadã, estão ainda longe de ser superados para a grande 
maioria dos conselhos municipais. 


Além disso, em abril de 2019, foi publicado o Decreto Presidencial nº 
9.759, que extinguiu e estabeleceu diretrizes, regras e limitações para 
colegiados da administração pública federal que na visão de parte majo- 
ritária da doutrina “interdita a democracia direta ao impor regramentos 
que contrariam a participação social [...]” (SANTOS, FUNCIA, 2019). De 
outra parte, há a visão de que o referido decreto apenas reorganiza os 
colegiados da administração pública federal. 


Independentemente da motivação desta norma, o fato foi que o Plenário 
do Supremo Tribunal Federal deferiu, ainda que parcialmente, uma me- 
dida cautelar na ADI 6121 para suspender a eficácia de dispositivos do 
Decreto 9.759/2019 que extinguem colegiados da administração pública 
federal previstos em lei. Assim, por unanimidade, os ministros entende- 
ram que, como a criação desses colegiados foi autorizada pelo Congres- 
so Nacional, apenas por meio de lei eles podem ser extintos: 


O Plenário do Supremo Tribunal Federal (STF) deferiu parcialmente medida 
cautelar na Ação Direta de Inconstitucionalidade (ADI) 6121 para suspender 


a eficácia de dispositivos do Decreto 9.759/2019, da Presidência da Repúbli- 
ca, que extinguem colegiados da administração pública federal previstos em 
lei. Por unanimidade, os ministros entenderam que, como a criação desses 
colegiados foi autorizada pelo Congresso Nacional, apenas por meio de lei 
eles podem ser extintos (STF, 2019). 


SAIBA MAIS 


Para saber mais acesse Acordão da Medida Cautelar na ADI 
Guo: <http://portal.stf.jus.br/processos/downloadPeca. 
asptid=15341826697&ext=.pdf>. 


A questão dos recursos controlados pelos agentes, como tempo, infor- 
mação, capacidade técnica etc., configura-se como elemento central 
para a análise dos conselhos e de seu potencial como instrumento de 
accountability societal. Além do grau de indução e permeabilidade do 
poder público municipal às demandas e aos canais de deliberação exis- 
tentes, a efetiva atuação dos conselhos depende de outros fatores, como 
efervescência da vida associativa e participativa local e o quantum de 
capital social disponível e em uso. 


Essa efetividade tem relação com os recursos que os conselhos contro- 
lam e com o perfil e a trajetória pessoal e profissional dos atores envolvi- 
dos, sinalizando a extrema dificuldade para identificar as variáveis deter- 
minantes do grau de desempenho dos conselhos. Temos como hipótese, 
contudo, que a efetivação do potencial de emancipação dos conselhos 
requer uma sociedade civil organizada e capaz de exercer influência so- 
bre o sistema político e sobre as burocracias públicas, fortalecendo a di- 
mensão associativa da cidadania. Além disso, a performance dos conse- 
lhos tem uma ligação intrínseca com a qualidade do governo municipal. 


Os principais obstáculos para uma atuação mais consistente dos con- 
selhos estão ligados às dificuldades para realizar e ampliar a participa- 
ção, viabilizar o envolvimento e o compromisso de atores centrais, tanto 
governamentais quanto não governamentais, e instituir mecanismos de 
controle e deliberação efetivos, o que daria condições para que a di- 
mensão igualitária e deliberativa dos conselhos pudesse, de fato, garantir 
maiores níveis de eficiência, efetividade e equidade nas políticas sociais. 


Entre as novas modalidades de participação nas políticas públicas des- 
tacam-se as redes, ou estruturas policêntricas, envolvendo diferentes 
atores, organizações ou nódulos, vinculados entre si a partir do esta- 
belecimento e da manutenção de objetivos comuns e de uma dinâmica 
gerencial compatível e adequada. 


O termo “rede” tem sido utilizado em diferentes disciplinas como, por 
exemplo, a psicologia social, ao indicar o universo relacional de um in- 
divíduo. Para alguns autores as redes são vistas como novas formas de 
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organização social, do Estado ou da sociedade, intensivas em tecnolo- 
gia da informação e baseadas na cooperação entre unidades dotadas de 
autonomia. Castells (1998) chega a formular a proposta de um estado- 
-rede, para designar o formato atual das políticas públicas, cuja estrutura 
e funcionamento administrativo assumem as características de subsidia- 
riedade, flexibilidade, coordenação, participação cidadã, transparência, 
modernização tecnológica, profissionalização dos atores e retroalimen- 
tação e aprendizagem constantes. 


As principais características das redes de políticas são a horizontalidade e 
a interdependência entre os múltiplos nódulos ou participantes, o que as 
distingue de outros formatos de gestão de políticas, como a contratação 
e as parcerias. 


São vários os fatores que vêm levando à proliferação de redes gestoras 
de políticas públicas, especialmente no campo das políticas sociais, so- 
bre o qual incidem fortemente. Nesse sentido, as redes têm sido vistas 
como a solução adequada para administrar políticas e projetos em que 
os recursos são escassos, os problemas são complexos, existem múlti- 
plos atores envolvidos, interagem agentes públicos e privados, centrais 
e locais, e há uma crescente demanda por benefícios e por participação 
cidadã. 


A complexidade dos problemas sociais, a diversidade de atores e inte- 
resses conflituosos envolvidos, a crescente mobilização da sociedade 
civil, cobrando atenção diferenciada que respeite as diferenças sociais, 
a organização de um setor não governamental que atua cada vez mais 
no campo das políticas sociais e o aumento da ação social das empresas 
são fatores que impulsionam e explicam o florescimento das redes de 
políticas sociais. 


A proliferação de redes de políticas sociais deve-se, em primeiro lugar, 
aos dois macrofenômenos que definem o contexto atual destas políti- 
cas, ou seja, os processos de descentralização e de democratização que 
marcaram as sociedades latino-americanas nas últimas décadas. Se os 
processos de descentralização provocam uma fragmentação inicial da 
autoridade política e administrativa, eles geram formas novas de coor- 
denação que buscam garantir a eficácia da gestão das políticas públicas. 


O perigo para as autoridades locais é decorrente da perda da coesão ga- 
rantida pelos sistemas centralizados e pelo fortalecimento da autonomia 
e independência funcional das unidades sem o desenvolvimento de con- 
trapesos que garantam a integração do sistema de políticas e a agregação 
e coerência necessárias ao êxito dos governos locais. Por exemplo, vários 
governos estaduais criaram “redes de proteção social”, agregando várias 
políticas sociais e os órgãos responsáveis por elas e integrando a ação 
pública com a ação de ONGs, universidades etc. 


Apesar de a rede permitir a desterritorialização dos mercados e das 
políticas econômicas, como parte do fenômeno de globalização e dos 


processos supranacionais de integração regional, existe uma forte ten- 
dência, no campo das políticas sociais, para a criação de redes locais, 
que vinculam fortemente a gestão das políticas ao território e a uma 
população específica. 


A abordagem de redes, como expressão dos novos arranjos organizacio- 
nais que emergem na atualidade, indica o esgotamento da capacidade de 
integração das instituições representativas tradicionais, da eficácia das 
organizações burocráticas e do modelo de planejamento centralizado. 
Nesse aspecto, a formação das estruturas policêntricas, que configuram 
uma nova esfera pública plural, advém tanto de um deslocamento desde 
o nível central de governo para o local, quanto da esfera do Estado para 
a sociedade. Processos como a descentralização e o adensamento da 
sociedade civil convergem para formas inovadoras de gestão compartida 
das políticas públicas. Adquirem relevância as propostas de descentrali- 
zação das políticas públicas, nas quais o poder local assume o protago- 
nismo na articulação entre organizações governamentais, empresariais e 
sociais, ampliando a rede de ação pública por meio da inclusão de novos 
atores políticos. 


A criação e a manutenção da estrutura de redes impõem desafios ad- 
ministrativos fundamentais, vinculados aos processos de negociação e 
geração de consensos, ao estabelecimento de regras de atuação, à distri- 
buição de recursos e interação, à construção de mecanismos e processos 
coletivos de decisão, ao estabelecimento de prioridades e acompanha- 
mento. Em outras palavras, os processos de decisão, planejamento e 
avaliação ganham novos contornos e requerem outra abordagem, quan- 
do se trata de estruturas gerenciais policêntricas. 


Na gestão das redes o foco está colocado nos processos de interação 
entre os diferentes atores e os meios pelos quais estes processos podem 
ser estimulados, mantidos ou mudados, quando necessário. Como uma 
das características das redes é o fato de serem policêntricas, também en- 
contraremos que a gerência não é mais uma estratégia exclusiva para um 
ator. O papel do gestor das redes de políticas é, portanto, um importante 
aspecto a ser pensado, já que ele pode ser desempenhado por cada um 
dos atores, por vários deles simultaneamente, ou mesmo por um media- 
dor externo ou facilitador. 


Em qualquer caso, no entanto, a gestão de redes implica a gestão de 
interdependências, o que termina por aproximar os processos de formu- 
lação e implementação de políticas e exige o desenvolvimento de formas 
de coordenação e controle. A interdependência é uma condição na qual 
cada organização depende de outra, sem que isto implique relação de 
subordinação entre elas. Na condição de interdependência o comporta- 
mento de uma parte não pode ser visto isoladamente das demais, o que 
aumenta o grau de incerteza para cada uma delas. 


Um exemplo de rede de políticas públicas, apresentada por Volker Schnei- 
der (2005, p.47-48), é a rede de políticas públicas da reforma de telecomu- 
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nicações alemãs. Esta rede “[...] representa a estrutura de comunicação 
dos 24 atores mais influentes da primeira reforma das telecomunica- 
ções na Alemanha no final dos anos 1990” (SCHNEIDER, 2005, p.47): 


“6 Governo e Administração 
"6 Partidos políticos 
O Sindicatos 
E Associações econômicas 
“> Grandes empresas 


Figura 5: Rede de políticas públicas da reforma de telecomunicações alemãs 
Fonte: SCHNEIDER, 2005, p.48 


As redes de políticas sociais são um instrumento fundamental para a 
gerência dessas políticas e, mais ainda, elas permitem a construção de 
novas formas de coletivização, socialização, organização solidária e co- 
ordenação social, compatíveis com a transformação tanto da sociedade 
civil, quanto do Estado. 


A emergência de redes de políticas representaria a tentativa de criação 
de novas formas de coordenação, que fossem capazes de responder 
as necessidades e características do contexto atual, no qual o poder 
apresenta-se como plural e diversificado. Nesse sentido, as redes trans- 
cendem o papel de um mero instrumento gerencial, na medida em que 
permitem gerar relações baseadas na confiança (capital social) e pro- 
cessos gerenciais horizontalizados e pluralistas (esfera pública demo- 
crática). No entanto, a existência de estruturas policêntricas não pode 
escamotear a persistência da desigual distribuição do poder, nem as 
dificuldades gerenciais inerentes ao processo de gestão pública em uma 
estrutura reticular. 


CAPÍTULO III 


AVALIAÇÃO E MONITORAMENTO 
DE POLÍTICAS PÚBLICAS 


Prof. Dr. João Paulo Rocha de Miranda 


Os itens 3.1, 3.2 e 3.5 até 3.5.3 deste capítulo foram adaptados e remixados da 
obra: RUA, Maria das Graças. Análise de políticas públicas. In: RUA, Maria das 
Graças. Políticas públicas. 3. ed. rev. atua. Florianópolis: UFSC; Brasília: CAPES: 
UAB, 2014. p. 102-115. 


EY NC ND 


Esta obra está licenciada nos termos da Licença Creative Commons Atribuição- 
-NãoComercial-Compartilhalgual 3.0 Brasil, podendo a OBRA ser remixada, 
adaptada e servir para criação de obras derivadas, desde que com fins não co- 
merciais, que seja atribuído crédito ao autor e que as obras derivadas sejam 
licenciadas sob a mesma licença. 


3.1 Introdução 


O conceito de avaliação das ações governamentais, assim como o de pla- 
nejamento, desenvolveu-se a partir das transformações no papel do Esta- 
do, especialmente por causa do esforço de reconstrução após a Segunda 
Guerra, quando teve início a adoção de políticas sociais, bem como a 
consequente necessidade de analisar os custos e as vantagens de suas 
intervenções. 


Desde meados da década de 80, no âmbito do grande processo de mu- 
dança das relações entre o Estado e a sociedade e da reforma da adminis- 
tração pública, que passa do primado dos processos para a priorização 
dos resultados, a avaliação assume a condição de instrumento estratégi- 
co em todo o ciclo da política pública. 


A trajetória histórica da avaliação compreende um primeiro estágio, cen- 
trado na mensuração dos fenômenos analisados, depois avança em dire- 
ção às formas de atingir resultados, evoluindo para um julgamento das 
intervenções não somente quanto à sua eficácia e eficiência, mas tam- 
bém quanto à sua efetividade, sustentabilidade e outros aspectos, como 
a equidade, por exemplo. 


Podemos, então, afirmar que o termo “avaliação” é 
amplamente utilizado? 
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Acertou se respondeu sim, pois este termo é empregado em muitos e 
diversos contextos, sempre se referindo a julgamentos, geralmente infor- 
mais. A avaliação de políticas públicas, entretanto, diferencia-se porque 
consiste estritamente na avaliação formal, que é o exame sistemático 
de quaisquer intervenções planejadas na realidade, baseado em critérios 
explícitos e mediante procedimentos reconhecidos de coleta e análise 
de informação sobre seu conteúdo, estrutura, processo, resultados, qua- 
lidade e/ou impactos. Assim, podemos afirmar que a avaliação formal: 


* é um julgamento (porque envolve valores); 


* é sistemática (porque se baseia em procedimentos e indicadores re- 
conhecidos e previamente estabelecidos); 


* incide sobre o conteúdo (problemas eleitos e suas soluções), as es- 
tratégias, o desenho ou concepção (estrutura), os processos (insu- 
mos, atividades, capacidades, hierarquias de precedência e mecanis- 
mos de coordenação), os produtos (preliminares, intermediários e 
finais), os efeitos e os impactos; 


* é uma política, programa ou projeto; 
* | tem como referência critérios explícitos; e 


* tema finalidade de contribuir para o seu aperfeiçoamento, a melho- 
ria do processo decisório, o aprendizado institucional e/ou o aumen- 
to da accountability. 


Através desta definição podemos reconhecer que a avaliação contém 
duas dimensões. A primeira é técnica, e caracteriza-se por produzir ou 
coletar, segundo procedimentos reconhecidos, informações que pode- 
rão ser utilizadas nas decisões relativas a qualquer política, programa ou 
projeto. Esta dimensão diz respeito à pesquisa avaliativa, que representa 
um instrumento da avaliação. 


A segunda dimensão é valorativa, consistindo no exame das informações 
obtidas, à luz de critérios específicos, com a finalidade de extrair con- 
clusões acerca do valor da política, do programa ou projeto. Porém, a 
finalidade da avaliação não é classificar as intervenções “boas” ou “más”, 
“exitosas” ou “fracassadas”. Muito mais importante e proveitoso é apro- 
priar-se da avaliação como um processo de apoio a um aprendizado con- 
tínuo, de busca de melhores decisões e de amadurecimento da gestão. 


3.2 Avaliação e Monitoramento de Políticas Públicas: 
Características e Diferenças 


Diante do exposto, podemos afirmar que a avaliação contribui para aper- 
feiçoar a formulação de políticas e projetos — especialmente tornando 
mais responsável a formulação de metas — e apontar em que medida os 
governos se mostram responsivos frente às necessidades dos cidadãos. 


Pode, ainda, mostrar se as políticas e os programas estão sendo conce- 
bidos de modo coordenado ou articulado, e em que medida estão sendo 
adotadas abordagens inovadoras na resolução de problemas que antes 
pareciam intratáveis. 


E pode indicar, também, como são construídas as parcerias entre gover- 
no central e local, entre os setores público, privado e terceiro setor, além 
de identificar as condições de sucesso ou fracasso dessas parcerias e 
apontar como podem ser aperfeiçoadas a fim de ganharem abrangência 
e se tornarem estratégias nacionais das políticas de desenvolvimento. 


A esta altura, já conseguimos identificar a avaliação de pesquisa avaliati- 
va como técnicas de coleta de dados para avaliação. Por isso, a avaliação 
formal pode lançar mão de um conjunto de métodos de diagnóstico e 
análise, de técnicas de coleta de dados, como surveys, observação, en- 
trevistas em profundidade, individuais ou em grupos focais. E de instru- 
mentos, como questionários, formulários, roteiros de observação etc., 
do arsenal próprio da pesquisa social. 


A avaliação formal permite julgar processos, produtos, efeitos ou 
impactos de políticas, programas ou projetos públicos. 


A avaliação formal não possui um método de pesquisa específico, po- 
dendo adotar um ou combinar vários, a serem selecionados de acordo 
com o foco da avaliação, a natureza do objeto avaliado, as restrições de 
tempo e custo etc. 


O monitoramento diferencia-se da avaliação sob vários aspectos. Pri- 
meiro, enquanto a avaliação é o exame discreto de processos, produtos, 
qualidade, efeitos, impactos, das ações realizadas, o monitoramento é 
o exame contínuo de processos, produtos, resultados e impactos das 
ações realizadas. 


Segundo, em consequência dessa distinção, o escopo das duas ativida- 
des é diferente: a avaliação deve explorar em profundidade os aspectos 
sobre os quais incide, já o monitoramento não tem como alcançar tal 
profundidade, devido à sua necessidade de celeridade dos achados, para 
que possa subsidiar decisões sobre a condução das políticas, programas 
e projetos. 


Terceiro, também pelo mesmo motivo, uma vez que a avaliação produz 
relatórios mais complexos e densos, o monitoramento irá produzir pe- 
quenos sumários de dados parciais, aos quais costuma se incorporar uma 
ajuda memória ou uma ata de decisões tomadas com base nos achados. 


Em quarto lugar, enquanto a avaliação pode ser usada ou não para sub- 
sidiar a tomada de decisões, o monitoramento sempre terá de ter essa 
aplicação. Por isso, diferentemente da avaliação, todo monitoramento 
tem de incluir os procedimentos para a imediata apropriação dos acha- 
dos produzidos e sua incorporação ao processo da gestão. 
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Em quinto lugar, apesar de podermos monitorar atividades, processos, 
produtos e impactos, vale destacarmos que o monitoramento se con- 
centra em atividades, processos e produtos e tem como referência o 
desenho da política, do programa ou projeto. A avaliação, por sua vez, 
não necessariamente tem essa relação com o desenho da intervenção, 
sendo inclusive recomendável o uso de metodologias de avaliação inde- 
pendente de objetivos. 


O monitoramento é o exame contínuo dos insumos, atividades, proces- 
sos, produtos (preliminares, intermediários e finais), efeitos ou impactos 
de uma intervenção, com a finalidade de otimizar a sua gestão, ou seja, 
obter mais eficácia, eficiência e, dependendo do alcance do monitora- 
mento, efetividade. Implica a possibilidade de interferir no curso da im- 
plementação de uma política, programa ou projeto, caso se perceba que 
a sua concepção não é adequada à solução do problema, por equívoco 
de planejamento ou por mudança da própria realidade. 


Por isso, o monitoramento tem o Plano de Ação, ou Plano de Atividades, 
como referência, mas não deve estar preso a esses Planos, podendo che- 
gar a recomendar a sua mudança. Logo, os resultados do monitoramento 
podem e devem ser utilizados para aperfeiçoamento do trabalho de equi- 
pe e para a tomada de decisões, e ele deve gerar aprendizagem sobre as 
políticas públicas (policy learning). 


O monitoramento é uma ferramenta de gestão interativa e proativa, que 
utiliza informações com a profundidade necessária para a sua finalidade 
(nada além disso, sob o risco de comprometer a sua celeridade e tem- 
pestividade). Baseia-se sempre na análise dos dados (não somente no 
seu registro). 


O monitoramento se diferencia do acompanhamento, que corresponde 
as atividades de registro e documentação do processo de implemen- 
tação, a fim de assegurar o cumprimento do Plano de Atividades, ou 
Plano de Ação, sem questionar a sua pertinência diante do problema a 
ser solucionado. O acompanhamento caracteriza-se pelas atividades de 
supervisão e fiscalização, não tendo natureza interativa, nem proativa. 
As informações tendem a ser superficiais e geralmente se limitam a ser 
registradas e informadas, nem sempre sendo analisadas. Os resultados 
raramente são compartilhados e são pouco utilizados como ferramenta 
de gestão. 


Desta forma, embora as supracitadas diferenças na natureza da avalia- 
ção e do monitoramento sejam importantes, há autores que chamam o 
monitoramento de avaliação in-itinere, como será abordado no item 3.5 
deste livro. Não obstante, este autor prefira o termo “monitoramento”, 
você leitor e/ou aluno(a) de Administração Pública, precisa saber tam- 
bém deste termo, a fim de que compreenda outros autores que venham 
a utilizar apenas a terminologia avaliação in-itinere. Portanto, nesta obra 
usamos os dois termos, sempre fazendo esta ressalva. 


SAIBA MAIS 


Para saber mais: Assista a entrevista sobre avaliação e monitora- 
mento de políticas públicas, com Miguel Foguel, técnico de planeja- 
mento e pesquisa do IPEA: <https://unum.ipea.gov.br/portal/index. 
php?option=com content&view=article&id=26904> 


3.3 Sistemas e Painéis de Monitoramento de 
Políticas Públicas 


Os sistemas e painéis de monitoramento de políticas públicas, de for- 
ma geral, são compostos por um conjunto de atividades de produção, 
registro, acompanhamento e análise crítica de informações geradas na 
gestão de políticas públicas, de seus programas, projetos, produtos e 
serviços. Possuem o propósito de subsidiar a tomada decisão para os 
aprimoramentos e ajustes necessários à política pública. Estas atividades 
devem ser articuladas, sistemáticas e formalizadas. São realizadas pela 
administração pública, seus agentes e o públicos-alvo, quando participa- 
tivas (SOUSA, 2013). 


Portanto são “inerentes ao ciclo de gerenciamento da produção das polí- 
ticas públicas, voltadas à sistematização da informação acerca dos aspec- 
tos considerados críticos para sucesso dos programas” (SOUSA, 2013, p. 
2). Desta forma, a compilação, sistematização e análise dos indicadores 
das políticas, programas ou projetos “[...] configuram o modus operandi 
mais difundido nos sistemas de monitoramento, ao passo em que possi- 
bilitam o acompanhamento e mensuração de aspectos inerentes a uma 
determinada política e aos seus múltiplos contextos de implementação” 
(PEREIRA, 2017, p. 653). 


Assim, os sistemas de monitoramento de políticas públicas se fazem im- 
portantes diante da necessidade de acompanhamento da implementação 
de uma determinada política pública. Isto porque é importante identifi- 
car, em tempo oportuno, possíveis desvios na execução da política. As- 
sim, é possível, em tempo, realizar ações corretivas, bem como fazer a 
verificação do alcance de metas e objetivos traçados, o que gera apren- 
dizagem organizacional (PEREIRA, 2017). 


Portanto, se o monitoramento tem a finalidade de subsidiar a gestão dos 
programas com informações tempestivas, simples e em quantidade ade- 
quada para a tomada de decisão, é através dos seus sistemas que as 
informações são sistematizadas e publicizadas de forma organizada em 
seus painéis. Entretanto, vale ressaltar que, para que os sistemas de mo- 
nitoramento de políticas públicas sejam adequados, é necessário que os 
indicadores sejam “[...] coletados e calculados com uma periodicidade 
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que permita aos gestores reagir ainda dentro de um ciclo de execução 
do programa” (SOUSA, 2013, p. 7). Ademais, é fundamental que as in- 
formações produzidas pelos “[...] indicadores sejam apresentadas em 
formato de fácil consumo pelos gestores, ou seja, para que estes tenham 
rápida apreensão do desempenho do programa. Por isso, a importância 
de painéis de monitoramento” (SOUSA, 2013, p. 7). 


Vale ressaltar que, na sociedade atual, em que as informações e novas 
tecnologias de comunicação estão disponíveis, os indicadores demons- 
trados em painéis de monitoramento não servem apenas aos agentes 
públicos que administram determinadas políticas públicas, mas atendem 
também à sociedade como acesso à informação e/ou instrumento de 
controle social. Assim, soma-se à relevância dos painéis de monitora- 
mento de políticas públicas, sua importância como instrumentos para 
materializar os princípios constitucionais da administração pública, es- 
pecificamente os princípios da moralidade e da publicidade, bem como 
o direito de acesso à informação pública. 


SAIBA MAIS 


Para saber mais sobre direito ao acesso à informação pública: <https:// 
ambitojuridico.com.br/cadernos/direito-administrativo/a-lei-de- 
-acesso-a-informacao-em-destaque-ponderacoes-ao-reconheci- 
mento-do-direito-a-informacao-como-fundamental-a-luz-da-mol- 
dura-constitucional/> 


Contudo, os painéis de monitoramento devem ser idealizados segundo 
seus objetivos e utilidades. Para isso, a seleção de indicadores é parte 
vital na construção destes painéis. Isto porque dos painéis é “a de repre- 
sentar uma dinâmica relacional entre indicadores, ou seja, o seu foco é a 
representação de relações causais, processuais e/ou de complementari- 


dade dos fenômenos medidos pelos indicadores” (SOUSA, 2013, p. 14). 


Neste sentido, Sousa (2013, p. 14) apresenta as seguintes premissas 
para construção de um Painel de Monitoramento: 


* O conjunto de indicadores não pode se pretender exaustivo e deve 
ser equilibrado entre as dimensões/componentes analisados; 


* Os indicadores devem ter uma interpretação normativa claramente 
definida; 


e Os indicadores devem ser mutuamente consistentes, isto é, não de- 
vem sugerir tendências inconsistentes; 


* Os indicadores devem ser inteligíveis e acessíveis de acordo com o 
público usuário; 


* Os indicadores devem ser organizados em painéis articulados em 
três níveis: 
e indicadores chave (lead indicators); 
* indicadores complementares; 
* indicadores específicos. 


Atendidas estas premissas é necessário analisar as etapas que devem 
ser cumpridas para a construção de painéis de monitoramento. Uma 
vez definido o programa a ser monitorado, bem como seus objetivos, 
suas ações e sua lógica de intervenção, deve-se definir os eixos analí- 
ticos e as unidades de análise. A partir daí é possível iniciar a coleta de 
dados e indicadores. Primeiramente são coletados aqueles relacionados 
ao contexto e, posteriormente, os que digam respeito à política, progra- 
ma ou projeto avaliado. Por fim, com os dados e indicadores coletados, 
é construído o painel de indicadores, geralmente na forma de gráficos, 
para análise comparativa no tempo, espaço e território (SOUSA, 2013), 
conforme pode ser visualizado na seguinte figura: 


Definição do programa a ser monitorado, seus objetivos 
ações e lógica de intervenção 


Definição dos eixos analíticos e definição das unidades 
de análise 


Coleta de dados e indicadores de contexto 


Coleta dos indicadores do programa 


painel de monitoramento 
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Construção do painel de indicadores na forma de 
gráficos para análise comparativa no tempo e território 


Figura 6: Etapas de construção de um painel de monitoramento 
Fonte: Elaborada pelo autor deste livro adaptado de SOUSA, 2013 


Como exemplo de painéis de monitoramento podemos citar o caso da 
Secretaria de Avaliação e Gestão da Informação (SAGI), outrora ligada 
ao Ministério do Desenvolvimento Social, que atualmente tornou-se a 
Secretaria Especial do Desenvolvimento Social, vinculada ao Ministério 
da Cidadania. 


A SAGI através do sistema VIS DATA, de visualização de dados sociais, 
publica o seu painel de monitoramento social (BRASIL, 2020a), conforme 
é possível visualizar nas figuras 7 e 8: 
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2 Painel de Monitoramento Social 


Programa Bolsa Familia: Programa Bolsa Família: Bolsa Família: 
visão geral benefícios acompanhamento de 
condicionalidades 


Cadastro Único: visão geral Cadastro Único: perfil das 
pessoas / famílias 
cadastradas 


Atendimento CRAS (Centro 
de Referência de Assistência 
Social) 


Figura 7: Visão panorâmica do painel de monitoramento social da SAGI 
Fonte: BRASIL, 2020a 


e“ 4 Página Inicial / EB Catalogo / RB Lista de Paineis 
VIS DATA 


o 


Im” Painel de Monitoramento Social 


Programa Bolsa Família: Programa Bolsa Família: Bolsa Família: 
visão geral benefícios acompanhamento de 
condicionalidades 


= 
seg 
VISUALIZAR 


Figura 8: Painel de monitoramento social da SAGI 
Fonte: BRASIL, 2020a 


Neste painel da SAGI, são monitorados diversos programas e projetos. A 
fim de exemplificar veja alguns gráficos da visão geral do Programa Bolsa 
Família (BRASIL, 2020b): 


O Unipar | IM Resuto | M Resulte | IM Cadac | O (ss)wo | [) Univer: | JD sider | 06496 [Bates O vs x G msm | "4 30217: |O Micros |O noric | + 
€ > C à aplicacoesmdsgov.br/sagi/vis/dash/painelphprd=55 


EEE Apps OQ Mect3ted Aulas. 
ES 


E Programa Bolsa Família: visão geral 


LIPPPPIPPI PPT ErP 


Figura 9: Painel de monitoramento social da SAGI: Bolsa Família — Visão geral 
Fonte: BRASIL, 2020b 


Continuando a exemplificar veja alguns gráficos sobre os beneficiários 
do Programa Bolsa Família (BRASIL, 2020c): 


Programa Bolsa Família: benefícios 


Quantitade de famias tenafciáras do PES 


Figura 10: Painel de monitoramento social da SAGI: Bolsa Família — Beneficiários 
Fonte: BRASIL, 2020c 


3.4 Considerações Sobre os Métodos Qualitativos e 
Quantitativos de Investigações Sociais na Avaliação 
de Políticas Públicas 


Para iniciar é vital frisar que “método é o conjunto das atividades sistemá- 
ticas que, com maior segurança e economia, permite alcançar o objetivo 
de produzir conhecimentos válidos e verdadeiros, traçando o caminho 
a ser seguido, detectando erros e auxiliando as decisões do cientista” 
(LAKATOS, 2017, p. 79). Partindo dessas premissas, há uma diferença 
muito clara entre métodos científicos e classificações da pesquisa, há 
autores que a denominam de método da pesquisa, gerando certa confu- 
são terminológica no meio das ciências sociais e sociais aplicadas, como 
será demonstrado (MIRANDA; VARGAS, 2020). Isto porque a pesquisa, 
bem como a avaliação de políticas públicas, tem um caráter pragmático 
e é um processo formal e sistemático de desenvolvimento do método 
científico (SILVA; MENEZES, 2005, p. 19). Ou seja, as diferentes espécies 
de pesquisas, representam a multiplicidade de formas procedimentais de 
aplicar o método científico. 


Neste sentido, existem várias formas de classificar as pesquisas (méto- 
dos da pesquisa) e diversos métodos científicos, os quais são, a partir de 
agora, transcritos, adaptados e remixados da seguinte obra “SILVA, Edna 
Lúcia; MENEZES, Estera Muszkat. Metodologia da pesquisa e elabora- 
ção de dissertação. 4. ed. Florianópolis: UFSC, 2005”, que está licencia- 
da nos termos da Licença Creative Commons Atribuição-NãoComercial- 
-Compartilhalgual 3.0 Brasil. 
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Esta obra está licenciada nos termos da Licença Creative Commons Atribuição- 
-NãoComercial-Compartilhalgual 3.0 Brasil (CC BY-NC-SA 3.0 BR), podendo a 
OBRA ser remixada, adaptada e servir para criação de obras derivadas, desde 
que com fins não comerciais, que seja atribuído crédito ao autor e que as obras 


derivadas sejam licenciadas sob a mesma licença. 


Do 


Do 


Do 


ponto de vista da sua natureza, pode ser: 


Pesquisa Básica: objetiva gerar conhecimentos novos, úteis para o 
avanço da ciência sem aplicação prática prevista. Envolve verdades e 
interesses universais; 


Pesquisa Aplicada: objetiva gerar conhecimentos para aplicação prá- 
tica e dirigidos à solução de problemas específicos. Envolve verdades 
e interesses locais. 


ponto de vista da forma de abordagem do problema pode ser: 


Pesquisa Quantitativa: considera que tudo pode ser quantificável, 
o que significa traduzir em números opiniões e informações para 
classificá-las e analisá-las. Requer o uso de recursos e de técnicas 
estatísticas (percentagem, média, moda, mediana, desvio-padrão, 
coeficiente de correlação, análise de regressão, etc.); 


Pesquisa Qualitativa: considera que há uma relação dinâmica entre 
o mundo real e o sujeito, isto é, um vínculo indissociável entre o 
mundo objetivo e a subjetividade do sujeito que não pode ser tradu- 
zido em números. A interpretação dos fenômenos e a atribuição de 
significados são básicas no processo de pesquisa qualitativa. Não re- 
quer o uso de métodos e técnicas estatísticas. O ambiente natural é 
a fonte direta para coleta de dados e o pesquisador é o instrumento- 
-chave. É descritiva. Os pesquisadores tendem a analisar seus dados 
indutivamente. O processo e seu significado são os focos principais 
de abordagem. 


ponto de vista de seus objetivos (GIL, 1991) pode ser: 


Pesquisa Exploratória: visa proporcionar maior familiaridade com o 
problema com vistas a torná-lo explícito ou a construir hipóteses. 
Envolve levantamento bibliográfico; entrevistas com pessoas que ti- 
veram experiências práticas com o problema pesquisado; análise de 
exemplos que estimulem a compreensão. Assume, em geral, as for- 
mas de Pesquisas Bibliográficas e Estudos de Caso; 


Pesquisa Descritiva: visa descrever as características de determina- 
da população ou fenômeno ou o estabelecimento de relações en- 
tre variáveis. Envolve o uso de técnicas padronizadas de coleta de 


Do 


dados: questionário e observação sistemática. Assume, em geral, a 
forma de Levantamento; 


Pesquisa Explicativa: visa identificar os fatores que determinam ou 
contribuem para a ocorrência dos fenômenos. aprofunda o conheci- 
mento da realidade porque explica a razão, o “porquê” das coisas. 
Quando realizada nas ciências naturais, requer o uso do método ex- 
perimental, e nas ciências sociais requer o uso do método obser- 
vacional. Assume, em geral, as formas de Pesquisa Experimental e 
Pesquisa Expost-facto. 


ponto de vista dos procedimentos técnicos (GIL, 1991), pode ser: 


Pesquisa Bibliográfica: quando elaborada a partir de material já pu- 
blicado, constituído principalmente de livros, artigos de periódicos e 
atualmente com material disponibilizado na Internet; 


Pesquisa Documental: quando elaborada a partir de materiais que 
não receberam tratamento analítico; 


Pesquisa Experimental: quando se determina um objeto de estu- 
do, selecionam-se as variáveis que seriam capazes de influenciá-lo, 
definem-se as formas de controle e de observação dos efeitos que a 
variável produz no objeto; 


Levantamento: quando a pesquisa envolve a interrogação direta das 
pessoas cujo comportamento se deseja conhecer; 


Estudo de caso: quando envolve o estudo profundo e exaustivo de 
um ou poucos objetos de maneira que se permita o seu amplo e de- 
talhado conhecimento; 


Pesquisa Expost-Facto: quando o “experimento” se realiza depois 
dos fatos; 


Pesquisa-Ação: quando concebida e realizada em estreita associa- 
ção com uma ação ou com a resolução de um problema coletivo. 
Os pesquisadores e participantes representativos da situação ou do 
problema estão envolvidos de modo cooperativo ou participativo; 


Pesquisa Participante: quando se desenvolve a partir da interação 
entre pesquisadores e membros das situações investigadas. 


Portanto, o método da pesquisa é o que a doutrina metodológica clás- 
sica chama de classificações da pesquisa, a qual representa as diversas 
formas procedimentais de aplicar o método científico. Desta forma, mé- 
todo da pesquisa (tipo de pesquisa) e método científico são diferentes, 
embora complementares. 
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O método científico é o conjunto de processos ou operações mentais 
que se devem empregar na investigação. É a linha de raciocínio adotada 
no processo de pesquisa. Os métodos que fornecem as bases lógicas 
à investigação são: dedutivo, indutivo, hipotético-dedutivo, dialético e 
fenomenológico (GIL, 1999; LAKATOS; MARCONI, 1993). 


De forma breve veja a seguir em que bases lógicas tais métodos estão 
pautados. 


Método Dedutivo 


Método proposto pelos racionalistas Descartes, Spinoza e Leibniz que 
pressupõe que só a razão é capaz de levar ao conhecimento verdadeiro. 
O raciocínio dedutivo tem o objetivo de explicar o conteúdo das pre- 
missas. Por intermédio de uma cadeia de raciocínio em ordem descen- 
dente, de análise do geral para o particular, chega a uma conclusão. Usa 
o silogismo, construção lógica para, a partir de duas premissas, retirar 
uma terceira logicamente decorrente das duas primeiras, denominada 
de conclusão (GIL, 1999; LAKATOS; MARCONI, 1993). Veja um clássico 
exemplo de raciocínio dedutivo: 


Todo homem Eita) 
é mortal maior 


Pedro é * Premissa 
homem menor 


Logo, Pedro 
é mortal 


* Conclusão 


Figura 11: Raciocínio dedutivo 
Fonte: Elaborada pelo autor deste livro, adaptado de Silva e Menezes (2005) 


Método Indutivo 


Método proposto pelos empiristas Bacon, Hobbes, Locke e Hume. Con- 
sidera que o conhecimento é fundamentado na experiência, não levando 
em conta princípios preestabelecidos. No raciocínio indutivo a generali- 
zação deriva de observações de casos da realidade concreta. As constata- 
ções particulares levam à elaboração de generalizações (GIL, 1999; LAKA- 
TOS; MARCONI, 1993). Veja um clássico exemplo de raciocínio indutivo: 


Antônio 
é mortal 


João é 
mortal 


Paulo é 
mortal... 


Carlos é 


mortal 


Ora, Antônio, 
João, Paulo... 
Carlos são 
homens 


Figura 12: Raciocínio indutivo 
Fonte: Elaborada pelo autor deste livro, adaptado de Silva e Menezes (2005) 


Método Hipotético-Dedutivo 


Proposto por Popper, consiste na adoção da seguinte linha de raciocí- 
nio: “quando os conhecimentos disponíveis sobre determinado assunto 
são insuficientes para a explicação de um fenômeno, surge o problema. 
Para tentar explicar a dificuldades expressas no problema, são formula- 
das conjecturas ou hipóteses. Das hipóteses formuladas, deduzem-se 
consequências que deverão ser testadas ou falseadas. Falsear significa 
tornar falsas as consequências deduzidas das hipóteses. Enquanto no 
método dedutivo se procura a todo custo confirmar a hipótese, no méto- 
do hipotético-dedutivo, ao contrário, procuram-se evidências empíricas 
para derrubá-la” (GIL, 1999, p.30). 


Método Dialético 


Fundamenta-se na dialética proposta por Hegel, na qual as contradições 
se transcendem dando origem a novas contradições que passam a re- 
querer solução. É um método de interpretação dinâmica e totalizante da 
realidade. Considera que os fatos não podem ser considerados fora de 
um contexto social, político, econômico, etc. Empregado em pesquisa 
qualitativa (GIL, 1999; LAKATOS; MARCONI, 1993). 
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Método Fenomenológico 


Preconizado por Husserl, o método fenomenológico não é dedutivo nem 
indutivo. Preocupa-se com a descrição direta da experiência tal como ela é. 
A realidade é construída socialmente e entendida como o compreendido, 
o interpretado, o comunicado. Então, a realidade não é única: existem tan- 
tas quantas forem as suas interpretações e comunicações. O sujeito/ator 
é reconhecidamente importante no processo de construção do conheci- 
mento (GIL, 1999; TRIVINOS, 1992). Empregado em pesquisa qualitativa. 


Apesar da reconhecida importância do método científico, hoje, mais do 
que nunca, se percebe que a ciência não é fruto de um roteiro de criação 
totalmente previsível. Portanto, não há apenas uma maneira de raciocí- 
nio capaz de dar conta do complexo mundo das investigações científicas. 
Isto significa que, você, aluno(a) de Administração Pública, quando as 
circunstâncias concretas exigirem, para uma eficiente avaliação de uma 
determinada política pública, deve empregar métodos, e não um método 
em particular, pois isto ampliará as possibilidades de análise e obtenção 
de respostas para o problema proposto. 


Ressalvadas as considerações anteriores, os métodos de avaliação de 
políticas públicas, programas e projetos contribuem para a obtenção de 
informações sociais, políticas, econômicas, ambientais e culturais, se- 
jam no âmbito municipal, estadual ou nacional. Além disso, viabilizam 
o monitoramento da execução de projetos ou programas. Para isso, os 
enfoques avaliativos podem utilizar métodos qualitativos, quantitativos 
ou mistos (PINTOS, 2017, p. 115). 


Assim, os métodos qualitativos se caracterizam pela natureza teórica e 
qualitativa dos dados, coletados a partir da observação direta de relatos 
e depoimentos, bem como de documentos e textos. Desta forma, os 
diferentes procedimentos e técnicas para a coleta de dados, sejam elas 
“[...] entrevistas, observação direta, análise documental [...] possibilitam 
a observação e a análise sistemática do comportamento de organizações 
e seus agentes [...] assim como dos valores, percepções e crenças que 
orientam suas ações” (IPEA, 2010, p. 669- 670). Por outro lado, os mé- 
todos quantitativos se caracterizam pela natureza quantitativa, que se 
dá pela coleta, quantificação e tratamento de dados, por meio de técni- 
cas estatísticas, das mais simples às mais complexas (SOARES; CUNHA, 
2015 apud PINTOS, 2017, p. 115-116). 


Nesse sentido, comenta PINTOS (2017, p. 116) ao se referir primeira- 
mente aos métodos qualitativos, e, posteriormente, aos quantitativos: 


Ou seja, enquanto a primeira busca conhecer o contexto social em que se 
pretende atuar (ex-ante), identificando e melhor caracterizando os proble- 
mas e possíveis soluções na execução de uma política e/ou programa social 


em execução (avaliações intermediárias), aprofundando conhecimentos a 
respeito de um determinado aspecto da política e/ou programa social (ava- 
liações finais), a segunda busca mensurar dados objetivos (baseado em nú- 
meros), sobre algo que se pretende conhecer melhor [...] 


Diante das vantagens e desvantagens dos métodos qualitativos e quan- 
titativos para a avaliação das políticas públicas, há outra alternativa que 
combina características dos métodos anteriores. São os métodos mistos 
de investigação social. Estes combinam elementos das análises qualitati- 
vas e quantitativas. 


Em especial, os métodos e as técnicas qualitativas de investigação “[...] 
podem apresentar uma contribuição para a avaliação e aprimoramen- 
to de políticas públicas, pois proporcionam o deslocamento do foco de 
análise de decisões (o que) para ações e comportamentos (como e por 
quê)” (IPEA, 2010, p. 669). Portanto, a utilização de métodos qualitativos 
corrobora no sentido da “[...] elucidação de como decisões iniciais sobre 
políticas públicas tendem a se fundir em uma longa sequência de pro- 
cessos e atividades organizacionais” (IPEA, 2010, p. 670). Assim, os mé- 
todos qualitativos possibilitam a avaliação e monitoramento de políticas 
públicas, uma vez que os projetos e programas não possuem processos 
de produção lineares. Desta forma, é possível identificar a realidade das 
políticas públicas, bem como as limitações e imperfeições na execução 
das ações. 


Destarte, a aplicação de métodos e técnicas qualitativas na avaliação e 
monitoramento de projetos e programas “[...] apresenta o potencial de 
descortinar processos cotidianos de aprendizagem a partir da reflexão 
sobre os erros e acertos identificados (IPEA, 2010, p. 670). Assim, ao 
observar e analisar sistematicamente, tanto os processos e atividades 
organizacionais e comportamentais, quanto as “narrativas e práticas dos 
seus agentes, abrem acesso às informações, aos conhecimentos e aos 
valores que guiam ou impedem a concretização de políticas públicas” 
(IPEA, 2010, p. 670). 


A pesquisa qualitativa é composta por uma variedade de métodos, técni- 
cas, ferramentas e práticas e habilidades. A definição de qual delas usar na 
avaliação de políticas públicas depende das características do objeto a ser 
avaliado, bem como a quais fontes de dados possui acesso e quais infor- 
mações a pesquisa pretende produzir. As “entrevistas, observações siste- 
máticas e pesquisa documental figuram entre os principais instrumentos 
utilizados de forma frequentemente combinada” (IPEA, 2010, p. 670). 
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Entrevistas 


Observações Sistemáticas 


de Políticas Públicas 


Pesquisa Documental 
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de Dados Qualitativos Utilizados na Avaliação 


Figura 13: Instrumentos de coleta de dados qualitativos 
Fonte: Elaborada pelo autor deste livro 


3.4.1 Entrevistas 


Visam obter opiniões declaradas, relatos pessoais de experiências, bem 
como percepções de indivíduos. As entrevistas variam de acordo com o 
número de entrevistados e com o grau de estruturação prévia no roteiro 
da entrevista. 


Em relação ao grau de estruturação do roteiro, as entrevistas podem ser 
estruturadas, semiestruturadas ou abertas: 


Entrevistas 
Estruturadas 


Entrevistas 


semiestruturadas 


Entrevistas 
abertas 


Grau de Estruturação dos 
Roteiros de Entrevistas 


Figura 14: Grau de estruturação dos roteiros das entrevistas 
Fonte: Elaborada pelo autor deste livro 


* Entrevistas Estruturadas: São aquelas com roteiros previamente 
determinados e fechados, que apresentam perguntas prontas e 
definidas. 


* Entrevistas Semiestruturadas: São aquelas com roteiros parcialmen- 
te predeterminados, mas que não apresentam todas as perguntas 
completamente determinadas e fechadas. 


e Entrevistas Abertas: São as entrevistas que não são previamente 
determinadas, mas que se orientam por algumas questões centrais, 
previamente analisadas e relacionadas ao objeto das avaliações. Sua 
indeterminação é consistente, pensada e responsável. Diante desta, 
o(a) pesquisador(a) tem a possibilidade de explorar temáticas rele- 
vantes à investigação, mas que não tenham sido antevistas no mo- 
mento de elaboração do roteiro de uma pesquisa estruturada, por 
exemplo. 


Em relação ao número de entrevistados, as entrevistas podem ser res- 
pondidas por indivíduos grupos ou por grupos focais. Os grupos focais 
podem reunir pessoas com opiniões, reações e comportamentos seme- 
lhantes ou distintos, a depender do objetivo da avaliação (IPEA, 2010). 
Embora alguns autores tratem as entrevistas em grupos e em grupos 
focais como se fossem iguais, há diferenças que serão destacadas mais 
adiante. Por momento, você, estudante de Administração Pública, deve 
entender que a entrevista pode ser feita a indivíduos separadamente ou 
a uma coletividade destes. 


Agora vamos delimitar melhor esta diferenciação destas entrevistas 
quanto ao número de entrevistados. Tais diferenças são, a partir de ago- 
ra, transcritas, adaptadas e remixadas da seguinte obra “FRASER, Már- 
cia Tourinho Dantas GONDIM, Sônia Maria Guedes. Da fala do outro 
ao texto negociado: discussões sobre a entrevista na pesquisa qualitati- 
va. Paideia, Ribeirão Preto, v. 14, n. 28, p. 139-152, 2004. p. 149-150. 
Disponível em: Da fala do outro ao texto negociado: discussões so- 
bre a entrevista na pesquisa qualitativa (scielo.br). Acesso em: 24 nov. 
2020.”, que está licenciada nos termos da Licença Creative Commons 
Atribuição-NãoComercial-Compartilhalgual 4.0 


EY NC ND 


Esta obra está licenciada nos termos da Licença Creative Commons Attribution- 
-NonCommercial 4.0 International (CC BY-NC 4.0), podendo a OBRA ser remi- 
xada, adaptada e servir para criação de obras derivadas, desde que com fins não 
comerciais, que seja atribuído crédito ao autor e que as obras derivadas sejam 


licenciadas sob a mesma licença. 


A entrevista individual é uma interação de díade, indicada quando o ob- 
jetivo da pesquisa é conhecer em profundidade os significados e a visão 
da pessoa. Esta modalidade de entrevista é muito utilizada em estudos 
de caso, história oral, histórias de vida e biografias, que demandam um 
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nível maior de detalhamento. É preferida, também, quando a investiga- 
ção aborda assuntos delicados, difíceis de serem tratados em situação de 
grupo. A escolha da modalidade individual de entrevista, também, pode 
decorrer das características ou condições do entrevistado, pois oferece 
mais flexibilidade para o agendamento de horário e de local de reali- 
zação. É o caso de pessoas mais idosas, doentes e crianças pequenas 
(GASKELL, 2002). 


Em contrapartida, a entrevista grupal é indicada para pesquisas cuja te- 
mática seja de interesse público ou preocupação comum, por exem- 
plo, políticas públicas, mídia, lazer, novas tecnologias, e para assuntos 
e questões de natureza relativamente não familiar, que não tenham o 
caráter excessivamente íntimo e exijam muito aprofundamento de cada 
pessoa. No campo das ciências sociais essa modalidade de entrevista 
tem sido empregada em diversos tipos de investigações (FONTANA; 
FREY, 1994), tais como para construir e testar uma escala social (BO- 
GARDUS, 1926), para subsidiar projetos na área de saúde (MORGAN; 
SPANISH, 1984) e para avaliar o impacto da propaganda (MERTON; 
FISKE; KENDALL, 1990). 


Uma modalidade de entrevista grupal, a do grupo focal ou de discus- 
são, tem apresentado um crescimento expressivo nas últimas décadas, 
atendendo a interesses de acadêmicos, que a usam para investigar as 
percepções e representações de grupos específicos, e as de profissionais 
que a empregam como ferramenta de gerenciamento, de tomada de de- 
cisão e de apoio a programas de intervenção (GONDIM, 2002a, 2002b). 
Embora alguns autores não façam claramente uma distinção entre as en- 
trevistas grupais e grupos focais, existem diferenças fundamentais entre 
estas técnicas que necessitam ser destacadas, principalmente no que se 
refere ao papel do pesquisador, ao tipo de abordagem e aos objetivos da 
pesquisa. 


Nas entrevistas grupais, o que se visa é conhecer as opiniões e o compor- 
tamento do indivíduo no grupo. O entrevistador estabelece uma relação 
diádica com cada membro do grupo. Ao contrário, nos grupos focais, o 
que interessa são as opiniões que emergem a partir do momento em que 
as pessoas em grupo passam a estar sujeitas aos processos psicossociais 
que ocorrem neste contexto e influenciam na formação de opiniões. No 
grupo focal, o pesquisador tem um papel menos diretivo, ocupando o 
lugar de facilitador do processo de discussão grupal. Sua relação é com o 
grupo, pois é ele que é tomado como a unidade de análise, ao contrário 
da entrevista grupal em que o pesquisador se dirige a cada indivíduo e o 
nível de análise que adota é o do indivíduo no grupo (GONDIM 2002a; 
MORGAN, 1997). 


A escolha entre entrevistas individuais, grupais e grupos focais é funda- 
mental para os rumos da investigação, uma vez que esta decisão orienta 
a maneira como os dados serão coletados e analisados. Morgan (1997) 
compara as entrevistas individuais e as entrevistas grupais, ao apresentar 
algumas de suas vantagens e desvantagens. 


Nas entrevistas grupais, o autor supracitado afirma que a técnica oferece 
ao pesquisador a oportunidade de observar in loco as semelhanças e di- 
ferenças entre opiniões e experiências dos participantes. Nas entrevistas 
individuais este mapeamento só poderia ser obtido pela posterior análise 
comparativa de cada uma das entrevistas transcritas. A entrevista indivi- 
dual, a seu modo, é vantajosa quando o que está em jogo é o conheci- 
mento em profundidade dos significados pessoais de cada participante. 
Favorece, também, a maior proximidade de cada participante individu- 
almente e, em consequência, permite maior controle do investigador da 
própria situação da entrevista, visto que, na situação de grupo, o risco de 
se desviar do tema é maior. 


Em síntese, as entrevistas grupais e, mais especificamente os grupos fo- 
cais, permitem ampliar a compreensão transversal de um tema, ou seja, 
mapear os argumentos e contra-argumentos em relação a um tópico es- 
pecífico, que emergem do contexto do processo de interação grupal em 
um determinado tempo e lugar (jogo de influências mútuas no interior 
do grupo), enquanto as entrevistas individuais permitem ampliar a com- 
preensão de um tópico específico de modo aprofundado para uma mes- 
ma pessoa, em seu processo de interação diádica com o entrevistador. 


3.4.2 Observações Sistemáticas 


Outro instrumento de coleta de dados utilizado em avaliações qualitati- 
vas, denominado de observações sistemáticas, trata justamente de o ava- 
liador realizar, sistematicamente, observações sobre o objeto avaliado, as 
ações, tanto em relação aos seus comportamentos, quanto as suas ca- 
racterísticas de funcionamento. Assim, a observação possibilita constatar 
o comportamento de fato e não apenas opiniões ou percepções decla- 
radas. Isto é relevante porque, na entrevista, é comum haver diferenças 
significativas entre o que os entrevistados declaram e o que efetivamente 
acabam fazendo em situações concretas. 


Nas observações sistemáticas há duas modalidades básicas, a observa- 
ção direta e a observação participante: 
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Figura 15: Modalidades de Observações sistemáticas 
Fonte: Elaborada pelo autor deste livro 
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Na observação direta o observador atua como ator externo. Ele, simples- 
mente, observa e registra, detalhadamente, um determinado aconteci- 
mento ou atividade relacionada ao objeto da avaliação. Já na observação 
participante o observador é parte do processo, atua como ator ativo. 
Assim, registra e participa ativamente da atividade observada. O proce- 
dimento de “registro das informações colhidas por meio de observações 
é feito comumente em cadernos de campo, os quais depois são siste- 
matizados (agrupados e codificados) em conjunto com as entrevistas ou 
separadamente” (IPEA, 2010, p. 672). Entretanto, as novas tecnologias 
mudam rapidamente este processo de registro com diferentes ferramen- 
tas de multimídia. 


3.4.3 Pesquisa Documental 


A pesquisa documental também pode ser utilizada para coletar dados 
qualitativos. Isto se dá por meio da pesquisa a arquivos e documentos 
primários. Isto é, “[...] quando elaborada a partir de materiais que não 
receberam tratamento analítico” (SILVA; MENEZES, 2005, p. 20). Neste 
sentido, Gil (2012, p.51) explica que a pesquisa documental é aquela 
que “[...] vale-se de matérias que não receberam ainda um tratamento 
analítico, o qual possibilita uma análise mais crítica e precisa dos dados 
apresentados”. 


Como comentado anteriormente, é importante ressaltar que a pesquisa 
documental é um tipo de pesquisa, mas chamada por alguns autores 
de método documental, enquanto método da pesquisa. É preciso ter 
esta diferença clara, para que não se confunda o método científico com 
método da pesquisa. “No âmbito da abordagem qualitativa, diversos 
métodos são utilizados [...] sendo o método da pesquisa documental 
aquele que busca compreendê-la de forma indireta por meio da análise 
dos inúmeros tipos de documentos produzidos pelo homem (PIMEN- 
TEL, 2001, p. 4555). 


Assim, a pesquisa documental pode ser comparada com um processo 
de engenharia reversa. Vitallis (2006) descreve sua abordagem às insti- 
tuições e questões políticas como engenharia reversa de processos es- 
pecíficos de construção de mitos, por meio da coleta e análise sistemá- 
ticas de documentos de arquivo. Isto porque, “envolve a “escavação” e 
“mapeamento” de fatos do passado e elos que explicam fenômenos do 
presente (IPEA, 2010, p. 672). 


É importante ressaltar que, ao utilizar a pesquisa documental como ins- 
trumento de coleta e produção de dados qualitativos, este procedimento 
de coleta de “documentos, dos mais variados tipos, podem ocorrer junto 
às organizações alvo de avaliação ou em instituições responsáveis por 
registros oficiais, como arquivos públicos [...]” (IPEA, 2010, p. 672). 


3.5 Métodos de Avaliação de Projetos, Programas 
e Políticas Públicas 


Especialmente a partir da década de 60, foram feitos significativos avan- 
ços na área da avaliação, tornando os conceitos mais precisos, as estra- 
tégias e as técnicas mais adequadas e os instrumentos de coleta mais 
acurados. Além disso, passou-se a distinguir os diversos tipos de avalia- 
ção que se pode efetuar. 


Neste tópico, o(a) aluno(a) de Administração Pública estudará os seguin- 
tes tipos e métodos de avaliação: 


e Avaliação interna; 

e Avaliação externa; 

* Avaliação mista; 

* Avaliação participativa; 

e Avaliação ex-ante; 

* Avaliação de meio termo: processos, produtos e qualidade; 
* Avaliação in-itinere ou monitoramento; 

* Avaliação ex-post: de resultados, efeitos e impactos; 

e Avaliação da Eficiência, Eficácia e Efetividade (3Es); e 

* Avaliação etnográfica. 


Entretanto, é importante deixar claro que as classificações das avaliações 
de políticas públicas em diferentes tipologias não são excludentes. Ou 
seja, uma classificação não exclui a outra, muito pelo contrário, são com- 
plementares. Ademais, este rol de tipos de avaliação não é exaustivo, 
mas exemplificativo. Além disso, “cada um desses tipos de estudos ava- 
liativos requer uma abordagem metodológica e/ou disciplinar diferente” 
(JANNUZZI, 2011, 267). Assim, caro leitor(a), aluno(a) de Administração 
Pública, você passará a estudar agora os diversos tipos de avaliação de 
políticas públicas. 


3.5.1 Avaliações Quanto à Origem da Equipe 
As avaliações de políticas públicas podem ser classificadas, quanto à ori- 


gem da equipe ou posição do avaliador, em três tipos, podendo ser inter- 
na, externa ou mista, conforme figura a seguir. 
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Figura 16: Métodos de avaliação quanto à origem da equipe 
Fonte: Elaborada pelo autor deste livro 


3.5.1.1 Avaliação Interna 


As avaliações internas são aquelas em que a intervenção (política, pro- 
grama ou projeto) é avaliada por uma equipe envolvida com a sua im- 
plementação. Ou seja, a avaliação interna é realizada pela instituição 
gestora. 


O objeto avaliado é a intervenção, seus processos e produtos, a con- 
secução dos objetivos e das metas etc., não o desempenho da equipe. 
Apresenta vantagens e desvantagens. A vantagem é a menor resistên- 
cia e maior conhecimento e possibilidade de acesso aos dados sobre o 
projeto, programa ou política pública. Contudo, pode apresentar menor 
objetividade entre avaliador e avaliado e choques de interesses. Assim, a 
grande dificuldade da avaliação interna é a distorção da perspectiva por 
causa da excessiva proximidade com o objeto. A fim de minimizar este 
problema, a avaliação pode ficar a cargo de profissionais que não sejam 
diretamente vinculadas à formulação e execução da intervenção avaliada. 


3.5.1.2 Avaliação Externa 


As avaliações externas são aquelas realizadas por uma equipe que não 
tem envolvimento com a intervenção. Ou seja, feita por especialistas 
que não formam o quadro da instituição responsável pela política pú- 
blica, programa ou projeto avaliado. Podem ser consultores externos, 
agentes do controle interno ou do controle externo e até mesmo equipes 


do próprio órgão responsável pela intervenção, desde que não estejam 
diretamente envolvidas com a implementação da política, do programa 
ou projeto. 


Suas vantagens, indiscutivelmente, são a imparcialidade, impessoalidade 
e objetividade. Além disso, permite comparar resultados de diferentes 
avaliações. Entretanto, os pontos negativos dizem respeito a probabilida- 
de de os avaliadores não dominarem completamente o objeto da avalia- 
ção. Portanto, quanto mais distantes da realidade da gestão, mais dificul- 
dades terão os avaliadores externos para compreender em profundidade 
o objeto avaliado. 


3.5.1.3 Avaliação Mista 


As avaliações mistas, por sua vez, são conduzidas por uma equipe in- 
terna em parceria com outra, externa. As duas formulam o plano de 
avaliação e constroem os instrumentos juntas. Em seguida, se separam 
para aplicar os instrumentos e analisar os dados. Depois se unem para 
comparar as conclusões e chegar a um termo comum. Esta abordagem 
permite a superação tanto das distorções próprias da avaliação interna, 
quanto das dificuldades resultantes do distanciamento excessivo que é 
próprio da avaliação externa. 


3.5.1.4 Avaliação Participativa 


Em contrapartida, as avaliações participativas consistem em um conjun- 
to de procedimentos com a finalidade de incorporar tanto os usuários 
como as equipes de gestores ao processo de monitoramento e avaliação, 
como seus sujeitos ou protagonistas e não como meros informantes. As- 
sim, requer a participação da comunidade em todo o processo da avalia- 
ção: planejamento, programação, execução, operação e avaliação. Por- 
tanto, “durante a avaliação participativa, outros atores sociais constroem 
a avaliação, além dos avaliadores, como a comunidade, os trabalhadores 
e os gestores” (PAIM; KOVALESKI; MORETTI-PIRES, 20176, p. 171). 


A avaliação participativa é, portanto, uma construção coletiva, no tempo 
e espaço social em que se encontra. É composta por uma multidiversi- 
dade de atores, em que o pesquisador é apenas mais um desses atores, 
juntamente com os diversos atores sociais da comunidade, que são, de 
fato, quem conhece a realidade estudada. Portanto, o investigador não 
detém o monopólio do método avaliativo, o qual é construído e desen- 
volvido participativamente. Assim, os atores comunitários não são meros 
coletadores de dados, mas construtores ativos do conhecimento, visan- 
do sempre aumentar a participação no processo avaliativo. Neste proces- 
so avaliativo, Os grupos sociais vão cada vez mais vão se autocompreen- 
dendo melhor e identificando os reais problemas, o que leva a melhores 
alternativas de resoluções destes, modificando a realidade social (PAIM; 
KOVALESKI; MORETTI-PIRES, 2016). 
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Nesse sentido, promove um diálogo fundamental para construções e re- 
construções coletivas. Fruto deste processo dialógico, os grupos de in- 
teresses auxiliam no processo de avaliação, que tem como pressuposto 
basilar “a construção de laços sociais e de aspectos intersubjetivos, não 
apenas construindo o objeto da avaliação durante o processo, mas tam- 
bém provocando mudanças nos envolvidos” (PAIM; KOVALESKI; MO- 
RETTI-PIRES, 2016, p. 171). Além de ser um intenso processo formativo, 
a avaliação participativa ainda favorece a apropriação, por parte dos ato- 
res, das informações geradas, de maneira a compreender e a intervir so- 
bre o problema identificado (PAIM; KOVALESKI; MORETTI-PIRES, 2016). 
Portanto, um dos métodos da pesquisa que se adequam bem à avaliação 
participativa decorre da pesquisa-ação, abordada no tópico anterior, cuja 
ênfase e abordagem metodológicas têm base no paradigma da pesquisa 
qualitativa. Assim, a pesquisa funciona aproximando conceitos e princí- 
pios da avaliação emancipatória (CARVALHO, 1999; SANTOS; AZEVE- 
DO; MARCELINO, 2017). 

Portanto, este tipo de avaliação almeja, além da avaliação em si, “a 
emancipação social dos envolvidos e o controle conjunto da avaliação, 
que irão se identificar com os resultados e as recomendações, tornan- 
do a avaliação útil à ação futura” (PAIM; KOVALESKI; MORETTI-PIRES, 
2016, p. 171). Por isso, a avaliação participativa objetiva, também, ser 
formativa, uma vez que foca no processo e não apenas no resultado. 
Desta forma, a avaliação participativa vai “além do simples acúmulo de 
dados, pretende uma solução comum (PAIM; KOVALESKI; MORETTI- 
-PIRES, 2016, p. 171). 


Diante do exposto, você aluno(a) de Administração Pública, já deve ter 
percebido que a avaliação participativa é um tipo de avaliação demo- 
crática, emancipatória e de autonomia dos sujeitos, que visa, além da 
avaliação, a modificação das relações de poder. 
3.5.2 Avaliações Quanto ao Momento 

Você já ouviu falar de avaliação ex-ante e de avaliação ex-post? 
Então, vamos esclarecer estes conceitos. Eles dizem respeito ao momento 


de ocorrência da avaliação. Assim, as avaliações, quanto ao momento da 
sua ocorrência, podem ser ex-ante, ex-post e in-itinere, conforme figura: 


SAIBA MAIS 


Para saber mais veja estes mapas mentais: 


* — https://apps.univesp.br/repositorio/politicas-publicas/ 
*— https://apps.univesp.br/politicas-publicas/assets/resumo-poli- 
ticas-publicas.pdf 
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Figura 17: Métodos de avaliação quanto ao momento 
Fonte: Elaborada pelo autor deste livro 


3.5.2.1 Avaliação ex-ante 


A avaliação ex-ante consiste na apreciação do desenho do projeto sob 
o ponto de vista da consistência lógica das soluções propostas, da su- 
ficiência das ações a serem realizadas. Consiste, ainda, na estimativa 
prévia de eficiência e de impacto do desenho da intervenção. Ou seja, 
é aquela “[...] que antecede o início do projeto (ex-ante), estando vincu- 
lada às clássicas etapas de diagnóstico e formulação do programa social” 
(SANO; MONTENEGRO FILHO, 2013, p. 41). 


Logo, antecipa questões, elabora critérios para tomada de decisão, inclu- 
sive a decisão sobre a própria implementação ou não do projeto. Permite 
verificar pertinência, viabilidade e eficácia potencial de um programa, 
com análise de custo-benefício e custo-efetividade, por exemplo. É mui- 
to estimulada pelos bancos multilaterais de desenvolvimento. 


A avaliação ex-ante de eficiência corresponde, especificamente, ao cálcu- 
lo de custos de cada alternativa, como será abordado mais à frente. Além 
das categorias básicas, os projetos podem envolver ainda custos adicio- 
nais do usuário e custos de oportunidade. Essa modalidade de avaliação 
ex-ante envolve a construção de uma matriz de custos, contendo todos 
os custos, os quais se espera que uma intervenção requeira em cada pe- 
ríodo de execução. Estes são divididos entre as diversas categorias acima 
mencionadas. Já a avaliação ex-ante de impacto consiste na estimativa 


L 


CAPITULO 3 


L 


CAPITULO 3 


78 


do impacto de cada alternativa, derivada dos objetivos propostos, como 
será visto mais adiante. Em ambos os casos, a matriz de custos é usada 
para a tomada de decisão, o monitoramento e a avaliação. 


Embora utilizem os mesmos procedimentos de cálculo, os impactos são 
mensurados por meio da comparação entre a situação inicial da popula- 
ção-alvo (baseline) e a sua situação ao final de um período determinado 
de tempo. É possível comparar os impactos observados, também, com 
os impactos estimados na avaliação ex-ante, para verificar se a seleção de 
alternativas de intervenção foi ótima. 


A avaliação das políticas públicas, por meio da análise ex-ante, tem a 
finalidade precípua de verificar se estas respondem a um problema bem 
delimitado e pertinente, aferindo se há um objetivo claro de atuação es- 
tatal e se o desenho proposto é factível. Assim, a análise ex-ante contri- 
bui na otimização dos recursos públicos e na garantia ao bem-estar da 
sociedade, uma vez que, se bem feita, evita erros de formulação e de 
desenho, bem como, possibilita uma política pública com maior raciona- 
lidade no processo inicial de implantação. Desta maneira, o fim da análi- 
se ex-ante é conduzir a decisão a fim de que seja a mais efetiva, eficaz e 
eficiente (IPEA, 20184). 


A formulação da avaliação ex-ante possui oito etapas, a saber: 


Diagnóstico do problema 


objetivos, ações, 
Caracterização da política público-alvo e resultados 
esperados 


Desenho da política 
Confiabilidade 
Estratégia de construção de 


Credibilidade 


Estratégia de 
implementação 


Monitoramento 
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Estratégias de Avaliação 


Análise de custo-benefício Controle 


Impacto orçamentário e 
financeiro 


Figura 18: Etapas da formulação da Avaliação ex-ante 
Fonte: Elaborada pelo autor deste livro (IPEA, 2018a) 


A seguir veremos estas oito etapas, começando com o diagnóstico: 


Diagnóstico do Problema 


É a primeira etapa da avaliação ex-ante. Trata-se do diagnóstico do pro- 
blema a ser resolvido por uma política pública, programa ou projeto. É 
uma etapa importante a fim de identificar claramente o problema a ser 
enfrentado e a população que deve ser alcançada. Este passo confere 
solidez e robustez a avaliação da política pública, possibilitando que so- 
lução proposta seja adequada e a melhor possível. Ademais, a adequada 
problematização é de fundamental importância para que a política possa 
ser monitorada ao longo da sua execução. Assim, identificando possíveis 
alterações no problema durante o processo de implantação, é possível 
ajustar a política, programa ou projeto à nova realidade (IPEA, 2018a). 


A elaboração do diagnóstico do problema é composta de seis atividades. 
Inicia pela identificação do problema e das suas potenciais causas, de- 
pois passa pela coleta de dados quantitativos, nacionais e internacionais, 
referentes ao problema e pelo alinhamento com metas e compromissos 
internacionais, até chegar às políticas de enfrentamento deste problema, 
anteriormente adotadas no país e atualmente em curso, para finalizar o 
diagnóstico do problema com o levantamento das razões que fazem que 
o problema necessite da intervenção estatal, mediante uma política pú- 
blica, programa ou projeto, conforme demonstrado na figura: 
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Figura 19: Etapas da formulação da Avaliação ex-ante 
Fonte: Elaborada pelo autor deste livro (IPEA, 2018a) 


Caracterização da Política 


É a segunda etapa da avaliação ex-ante. Trata-se da concepção e caracte- 
rização da política pública, programa ou projeto, segundo as seguintes 
características: 
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* Objetivo da política pública; 

* Público-alvo da política pública; 

* Metas de entrega de produtos; 

* Cobertura e abrangência da política pública; 

* Identificação e seleção dos beneficiários da política pública; 

* Ações a serem executadas; 

* Identificação dos meios e instrumentos necessários à execução; 

* Identificação dos atores envolvidos na política pública; 

* Análise sobre a caracterização da política. 

Uma vez diagnosticado o problema deve-se atacar as causas. Para isso se 
faz necessário caracterizar a política para que se possa chegar às metas. 
Com este propósito, a caracterização do problema deve ser capaz de 
responder a quatro perguntas importantes: Para que esta política? Para 


quem a política? Como operacionalizar e fazer esta política? Quem deve 
fazer esta política? 


* Objetivo * Público-Alvo 


“Atores «Meios 


* Arranjo “Instrumentos 
* Institucional 


Figura 20: Etapas e perguntas da caracterização da política 
Fonte: Elaborada pelo autor deste livro (IPEA, 2018a) 


Assim, “a identificação da fonte ou causa do problema cria a possibilidade 
de diferentes alternativas de solução e, portanto, de diversas propostas 
de ações públicas, com custos e benefícios específicos” (IPEA, 2018a, p. 
71). Portanto, a formulação da política pública deve prever ferramentas e 
instrumentos factíveis e que sejam mais adequados à resolução das cau- 
sas do problema. Ademais, é fundamental que sejam compatíveis tanto 


com as condições, quanto com o “[...] contexto específico do setor públi- 
co, e que obtenham maior resultado ou benefício à sociedade ao menor 
custo possível. Trata-se de desenhar políticas que sejam efetivas e eficien- 
tes, mas que, também, tenham legitimidade social” (IPEA, 2018a, p. 71). 


Neste sentido, é importante destacar que: 


A política terá efeito direto não apenas na capacidade de atender de forma 
planejada a uma demanda identificada, mas, também, na possibilidade de 
alcançar maior racionalidade (mesmo limitada) na ação pública. Isso está es- 
tritamente ligado à ideia de potencializar os resultados dessa ação, não signi- 
ficando necessariamente que o desenho ideal formulado seja integralmente 
aplicado ou que ele obtenha o resultado esperado em sua totalidade. Porém, 
sua arquitetura servirá certamente para orientar a ação pública de forma mais 
racional e efetiva (IPEA, 2018a, p. 71). 


Para isso, caro aluno(a) de Administração Pública, pressupõe-se que res- 
ponda às questões anteriormente comentadas: Para que esta política? 
Para quem a política? Como operacionalizar e fazer esta política? Quem 
deve fazer esta política? Estas perguntas, máxime suas respostas, alme- 
jam permitir maior clareza na relação entre a fonte do problema, identifi- 
cada no diagnóstico, e os meios e instrumentos a serem implementados 
a fim de atingir os objetivos e os resultados esperados. Diante disso, é 
possível identificar melhor os atores sociais envolvidos, sejam institui- 
ções, agentes públicos e/ou a comunidade, no caso de métodos partici- 
pativos. Ademais, isto facilita definir os papéis dos atores para que sejam 
os mais coerentes e adaptados às características do ambiente social em 
que se dará a política pública avaliada (IPEA, 201 8a). 


Desenho da Política 


É a terceira etapa da avaliação ex-ante. Visa enxergar a política pública, 
programa ou projeto, antes mesmo que ele se materialize. Assim, “dese- 
nhar a política é visualizá-la antes que ela seja posta em prática. Significa 
prever os insumos, processos, produtos, resultados e impactos, assim 
como as forças e fraquezas, os riscos e as oportunidades envolvidos” 
(IPEA, 2018a, p. 93). 


Aqui, você, aluno(a) de Administração Pública, sendo avaliador(a) de 
uma política deve se questionar quais as consequências da implementa- 
ção de uma política. Se serão boas ou ruins para o interesse público e so- 
cial? Deve se perguntar, ainda, o que necessita para a implementação de 
uma política, bem como, quais os fatores internos e externos que podem 
contribuir ou atrapalhar? E, se alguns destes fatores podem viabilizar ou 
inviabilizar a implementação da política avaliada, conforme figura: 
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O que acontece se a 
política for 
implementada? 


O que é necessário 
para que a política seja 


implementada? contribuir para a 


implementação da política? 


Que fatores internos e atrapalhar a 
externos podem implementação da política? 
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inviabilizar a 
implementação da política? 


Figura 21: Questionamentos necessários ao desenho da política 
Fonte: Elaborada pelo autor deste livro (IPEA, 2018a) 


O desenho da política ganha grande relevância em um contexto de crise 
econômica, quando os recursos são escassos e há diversas restrições 
orçamentárias. Assim, a adequação do desenho de uma política favorece 
seu êxito, bem como proporciona condições políticas de apoio institu- 
cional à implantação desta. 


Para o desenho adequado há várias metodologias, instrumentos e téc- 
nicas possíveis. Aqui, serão apresentadas algumas delas, sem prejuízo 
a diversas outras viáveis ao desenho da política. A escolha por abordar 
aqui estas metodologias e técnicas se dá uma vez que são “bastante ami- 
gáveis, intuitivas e largamente experimentadas e aprovadas [...] as van- 
tagens de facilidade de compreensão, rapidez de aprendizado, eficácia 
do uso e efetividade dos resultados proporcionados ao serviço público” 
(IPEA, 2018a, p. 93). Assim, estudaremos dois destes métodos e técni- 
cas, a saber: 


Figura 22: Métodos e técnicas para o desenho da política 
Fonte: Elaborada pelo autor deste livro 


Veremos a seguir o Modelo Lógico, que é uma metodologia bastante 
conhecida e utilizada internacionalmente, e a Matriz FOFA, uma técnica 
muito familiar aos gestores públicos e ao terceiro setor, no Brasil e no 
mundo. 


Modelo Lógico 


O modelo lógico é uma estrutura logicamente estruturada a fim de de- 
monstrar a causa e efeito entre a aplicação de recursos e atividades e a 
produção de produtos, resultados e seus respectivos impactos. Logo, 
é uma metodologia que integra a descrição das ideias, das hipóteses e 
das expectativas que formam a estrutura do projeto e o funcionamento 
esperado do programa (BALBIM et al., 2013). Portanto, modelo lógico 
é “uma ferramenta utilizada para sistematizar e comunicar as relações 
causais existentes entre recursos disponíveis, atividades desempenhadas 
e resultados esperados de um projeto” (BRASIL, 2007, p. 7). 


Desta maneira, o modelo lógico é uma etapa importante no processo de 
avaliação e tem o papel de explicitar a teoria do programa, que é a es- 
pecificação das ações a serem realizadas a fim de se alcançarem os efei- 
tos e impactos almejados (FERREIRA; CASSIOLATO; GONZALEZ, 2007; 
CHAMPAGNE et al., 2011b). Dessa forma, os pressupostos relacionados 
aos recursos, às operações e às ações e como esses levam aos resulta- 
dos esperados são frequentemente referidos como a teoria do programa 
(FERREIRA; CASSIOLATO; GONZALEZ, 2007; COSTA, 2018). 


É, portanto, o modelo lógico “uma evolução na avaliação de políticas 
públicas, visto que orienta o processo de avaliação de resultados e auxilia 
no desenho metodológico da avaliação para que as relações causais de- 
finidas possam ser apropriadamente estudadas” (COSTA, 2018, p. 39). 


Assim, primeiramente, define-se a teoria do programa, e, posteriormen- 
te, é produzido o modelo lógico da política, programa ou projeto a ser 
criado. Para esta criação, segundo Costa (2018, p. 40) “os elementos do 
modelo lógico são: inputs, atividades, outputs, resultados intermediários 
e resultados finais, assim como as hipóteses que suportam essas rela- 
ções e as influências das variáveis relevantes de contexto”. Desta forma 
o modelo lógico deve ser composto por etapas que demonstrem fluxos 
de causas e consequências. Assim, exibe uma racionalidade de conexão 
entre as atividades propostas através da política e os objetivos que se 
pretende atingir, como demonstrado na figura a seguir: 


Atividades 
Resultados intermadiários e finais 
Solução do Problema 


Figura 23: Etapa do modelo lógico 
Fonte: Elaborada pelo autor deste livro (IPEA, 2018a) 
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Para que este fluxo não seja interrompido e chegue até os impactos pre- 
tendidos, é fundamental que se estabeleçam indicadores suficientes e 
adequados para a verificação dos progressos alcançados e do alinha- 
mento aos objetivos propostos. Isto porque os objetivos orientam os 
grandes impactos pretendidos pelo programa. Desta forma, é necessário 
construir diversos indicadores para cada resultado pretendido, como por 
exemplo: 


* Indicadores de produtos; 
* Indicadores de resultados; 
* | Indicadores de impactos. 


Indicadores são dados que possibilitam, tanto acompanhar o andamento 
e o processo de implementação, quanto auferir o cumprimento dos ob- 
jetivos e metas de uma política pública, programa ou projeto. Os indica- 
dores podem se referir, por exemplo: 


* à quantidade; 

* à qualidade; 

* ao cronograma; 

* aos custos, sejam fixos, variáveis ou de oportunidade. 


Os indicadores são determinados e fixados durante uma avaliação ex 
ante, por meio de um modelo lógico. A partir destes indicadores é que se 
definirá quais dados devem ser coletados a fim de que se possa realizar 
o acompanhamento da implementação e a avaliação sobre a obtenção 
ou não dos resultados esperados. Por isso, é fundamental que se esta- 
beleçam indicadores suficientes e adequados para a verificação de todos 
os níveis de objetivos da política, programa ou projeto. Muitas vezes é 
necessário mais de um indicador para cada resultado almejado. Contudo 
é melhor menos indicadores, se estes forem robustos e confiáveis, do 
que muitos indicadores, que sejam fracos e não aufiram de fato os ob- 
jetivos, até porque o levantamento dos dados tem custos (IPEA, 2018a). 


Indicadores e metas são elementos indissociáveis da construção dos 
modelos lógicos. Durante a sua elaboração são definidos os aspectos a 
serem considerados para a construção dos indicadores. A fim de maior 
confiabilidade e clareza quanto aos resultados a serem alcançados “é 
necessário atrelar metas a tais aspectos, ou seja, definir quantitativa e 
qualitativamente a partir de que grau as mudanças geradas pela política 
serão consideradas satisfatórias” (IPEA, 2018a, p. 102). De igual forma, 
pode ser interessante “definir metas parciais, que auxiliam durante o 
controle do avanço da política. A meta nada mais é que um indicador de 
atingimento de um resultado especificado e temporalmente demarcado 
em sua verificação (IPEA, 2018a, p. 102). 


Há vários tipos de indicadores, cada qual com o objetivo de auferir algo 
diferente, como por exemplo: 


Indicadores de 
insumo 
Indicadores de 
produto 
Indicadores de 
resultados 
Indicadores de 
eficácia 
Indicadores de 
eficiência 
Indicadores de 
efetividade 
Indicadores de 
Economicidade 


Indicadores de 
Sustentabilidade 


Figura 24: Indicadores usados em modelos lógicos 
Fonte: Elaborada pelo autor deste livro 
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Assim, indicadores de insumo e produto são vitais para verificarem até 
que ponto a política tem tudo que precisa para ser implementada e co- 
locada em prática, bem como, em que medida os recursos estão sendo 
bem empregados. Desta forma, “são aspectos básicos ao monitoramen- 
to, ou às avaliações ditas formativas, feitas quando a política ainda não 
teve tempo suficiente para gerar resultados. Trata-se de indicadores de 
avaliação do grau de implementação” (IPEA, 2018a, p. 102). Indicadores 
de produto, por sua vez, trazem consigo elementos a serem levados em 
conta para eventuais ajustes na implementação, quando forem identifica- 
dos “[...] problemas nos insumos, nas atividades ou, o que é mais grave, 
na teoria do programa — quando insumos e atividades, mesmo quando 
bem providos e organizados, não conseguem proporcionar as entregas 
mínimas esperadas” (IPEA, 2018a, p. 102). Em contrapartida, indicado- 
res de resultados, sejam de médio ou longo prazo, “atestam em que 
medida as metas e os objetivos finais da política estão sendo alcançados” 
(IPEA, 2018a, p. 102). 


Já os indicadores de eficiência servem para auferir até que medida os 
recursos empregados para gerar um produto estão sendo maximizados 
ou desperdiçados, independentemente se por falha nos insumos ou nos 
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processos. Isto é, se foi possível fazer mais, com menos recursos. Dife- 
rentemente, os indicadores de eficácia demonstram se os produtos fo- 
ram entregues no prazo fixado e da forma planejada. Os de efetividade, 
em contrapartida, indicam se a missão foi ou está sendo cumprida, ou 
seja, se os resultados mais importantes da política estão acontecendo, e 
se os prazos estão sendo cumpridos. Já os indicadores de economicida- 
de, verificam se os insumos utilizados foram adquiridos a preços mais 
vantajosos, se foi possível gastar menos que o planejado (IPEA, 2018). 
Por fim, os indicadores de sustentabilidade “cumprem muitas funções, 
como reportar-se a fenômenos de curto, médio e longo prazos, viabilizar 
O acesso às informações já disponíveis sobre temas relevantes para o de- 
senvolvimento” (SOUZA-LIMA, et. al., 2012, p. 2109) sustentável, além 
disso é capaz de indicar a necessidade de geração de novas informações, 
bem como de: 


* identificar variações, comportamentos, processos e tendências; 
* estabelecer comparações entre países e entre regiões dentro do Brasil; 


* indicar necessidades e prioridades para a formulação, monitoramen- 
to e avaliação de políticas; 


* por sua capacidade de síntese, são capazes de facilitar o entendimen- 
to ao crescente público envolvido com o tema (SOUZA-LIMA; et. al., 
2012, p. 2109). 


Matriz Fofa 


Técnica bastante familiar aos gestores públicos, e muito utilizada no 
terceiro setor. Conhecida no Brasil pela sigla FOFA, que remete às For- 
ças, Oportunidades, Fraquezas e Ameaças (em inglês a sigla é SWOT: 
Strengths, Weaknesses, Opportunities eThreats). É uma técnica utilizada 
para fazer análise de contexto ou de ambiente, sendo amplamente usada 
como base para gestão, planejamento estratégico e avaliação de políticas 


públicas. 


A matriz FOFA é um instrumento de análise simples, porém valioso. Ob- 
jetiva detectar pontos fortes e fracos, com a finalidade de tornar a insti- 
tuição, pública ou privada, mais eficiente, ao corrigir e/ou mitigar suas 
deficiências. A matriz é sempre feita em quadrantes, onde são registra- 
dos fatores positivos e negativos para a instituição: 


Forças Fraquezas 


Fatores Internos 


Fatores Externos 


Oportunidades Ameaças 


Figura 25: Matriz FOFA 
Fonte: Elaborada pelo autor deste livro 


Na avaliação de políticas públicas, programas ou projetos é utilizada para 
determinar os pontos fortes e fracos da política. Entre os aspectos fortes, 
analisa tanto as forças, como aspecto interno à instituição, quanto as 
oportunidades, externas à administração pública. Nos pontos fracos, de- 
tecta as fraquezas, internas à pessoa de direito público responsável pela 
política avaliada, bem como as ameaças, externas à administração, mas 
que colocam a política, programa ou projeto em risco. 


Destarte, com a matriz FOFA é possível realizar um desenho da política 
mais fidedigno à realidade, tanto nos aspectos positivos, quanto negati- 
vos. Sejam no cenário interno ou externo à administração pública que 
planeja e implementa determinada política pública. 


SAIBA MAIS 


Para saber mais sobre matriz FOFA: 
<https://wmww.sebrae.com.br/Sebrae/PortalW20Sebrae/UFs/ 
RJ/Anexos/Planejamento%20estrat%WC3%AIgico%20-%20 
An%C3%AI lise%20FOFA. pdf > 


Estratégia de Construção de Confiabilidade e Suporte 


É a quarta etapa da avaliação ex-ante. Embora, por vezes, pouco valori- 
zada, a estratégia de confiabilidade e suporte é importante para a efetiva 
implementação da política, bem como para que se alcance o impacto 
esperado. Assim, é necessário construir um planejamento para manter e/ 
ou atingir grau alto de confiança e suporte. 


Confiança e suporte podem ser definidos como aquele apoio subjacente 
que uma determinada política pública possui para ser implementada. 
Esta confiança e suporte devem ser avaliados em três planos: 
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Figura 26: Planos de avaliação da confiança e suporte 
Fonte: Elaborada pelo autor deste livro (ENAP 2018) 


Portanto, este apoio de confiança e suporte deve ser construído tanto entre 
os componentes da população em geral, quanto entre as partes diretamen- 
te interessadas e entre as lideranças políticas. Isto porque a falta de apoio, 
confiança e suporte de qualquer um desses grupos pode afetar negativa- 
mente o impacto da política, vetando determinada política ou gerando obs- 
táculos operacionais e jurídicos, para exemplificar. Mas o inverso também 
é verdadeiro, assim o apoio, confiança e suporte desses grupos afeta positi- 
vamente a política, por exemplo, reduzindo custos e entraves à implemen- 
tação (IPEA, 2018a). Desta forma, percebam, caros alunos(as) de Adminis- 
tração Pública, o quanto a confiabilidade e suporte são importantes. 


Ainda se faz importante ressaltar que a confiança e o suporte têm três 
elementos a saber: 


Confiança pública 


Envolvimento dos 
interessados 


Compromisso 
político 


Elementos da Confiança e 


Figura 27: Elementos da confiança e suporte 
Fonte: Elaborada pelo autor deste livro (ENAP 2018) 


A confiança pública consubstancia-se no apoio dos cidadãos a uma polí- 
tica. A maneira mais direta de avaliar a confiança pública de uma política 
é por meio de pesquisa de opinião que questione durante a entrevista se 
o cidadão aprova ou não uma determinada proposta de política. Por sua 
vez, o envolvimento dos interessados é vital para a produção de bons 
resultados e impactos, uma vez que as partes interessadas são todos 
aqueles indivíduos e grupos afetados pela política. Assim, se acharem 
que serão positivamente impactados, irão apoiá-la, mas se entenderem 
que serão prejudicados por ela, não irão apoiá-la, e, eventualmente, luta- 
rão contra a política, programa ou projeto. Portanto, este envolvimento 
das partes interessadas deve ser altamente eficaz. Para isso é importante 
ter o objetivo claro e identificar as pessoas e organizações com interes- 
ses afetados pela iniciativa, sejam positivamente ou negativamente. Pos- 
teriormente, deve-se “[...] entender as necessidades e as intenções das 
partes interessadas em maior profundidade” (IPEA, 2018a, 156). Por fim, 
o compromisso político “é a disposição dos líderes políticos para gastar 
capital político para apoiar os objetivos da política pública. Por um lado, 
os líderes políticos podem aproveitar sua influência para obter consenso 
a favor de um objetivo” (IPEA, 2018a, 156). Assim, o adequado engaja- 
mento político pode aumentar a probabilidade de sucesso. Mas, “por 
outro lado, se lideranças políticas de peso se opõem a uma política, há 
um risco de diminuição da confiança nessa ou uma falta de suporte para 
as organizações encarregadas de implementá-la” (IPEA, 2018a, 156). 


Para avaliar a confiança e suporte devem ser analisados seus três elemen- 
tos: confiança pública; envolvimento dos interessados; e compromisso 
político. Assim uma das técnicas possíveis é a aplicação de questionários 
a fim de identificar o grau de satisfação para cada um dos três elementos, 
avaliando-os como insuficiente, razoável, bom ou ótimo. Desta forma, esta 
“metodologia auxilia o gestor a fazer uma avaliação do nível de confiança 
e de suporte que uma política tem em cada elemento” (IPEA, 2018a, 158). 


Estratégia de Implementação 


É a quinta etapa da avaliação ex-ante. Esta etapa de implementação da 
política pública, programa ou projeto se consubstancia por processos 
estruturados e articulados. Estes processos envolvem vários atores e di- 
versas espécies de recursos, sejam estes materiais, imateriais, humanos, 
financeiros, informacionais ou institucionais, com a finalidade de alcan- 
çar os objetivos e a execução das metas físicas das ações propostas. 
Portanto, é nesta etapa que são materializados os resultados concretos 
da política pública (IPEA, 2018a). 


Na estratégia de implementação devem ser descritos: 


L 


CAPITULO 3 


L 


CAPITULO 3 


90 


Disponíveis 


Instrumentos 
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De forma 


Descentralizada: 
Administração Empresa Pública 
Indireta - distinta 


a quem planejou Sociedade de 
Economia Mista 


Figura 28: Descrições constantes na Estratégia de Implementação 
Fonte: Elaborada pelo autor deste livro 


Ou seja, na estratégia de implementação devem estar descritos os instru- 
mentos disponíveis, bem como aqueles que serão construídos. Ademais, 
deve ser descrita a forma de execução para alcançar os resultados. Além 
disso, deve estar explicitado se a execução vai ser realizada diretamente 
ou não pelo órgão ou instituição planejadora da política, programa ou 
projeto. Bem como, se esta execução vai ser concentrada ou descentra- 
lizada, ou seja, se vai ser realizada, respectivamente, pela Administração 
Direta ou pela Administração Indireta. 


Assim, na estratégia de implementação o modelo lógico é explicitado, 
descrevendo a relação entre os meios e recursos disponíveis para a rea- 
lização dos produtos e dos resultados pretendidos. Além disso, são des- 
critos os atores envolvidos, sejam pessoas, organizações ou instituições, 
bem como suas relações com propósito de implementar a política, o que 
configura o arranjo institucional. É importante, também, demonstrar as 


funções e responsabilidades dos atores nas ações da política, programa 
ou projeto e nos produtos. Outro ponto importante a ser descrito diz res- 
peito às relações entre as pessoas, as regras, normas e leis vigentes e os 
recursos, sejam eles financeiros, materiais, informativos, sociais ou polí- 
ticos, em atenção ao princípio constitucional da legalidade (IPEA, 201 8a). 


Especificamente na fase de implementação da avaliação ex-ante o pro- 
pósito é identificar antecipadamente inconsistências, insuficiências ou 
desperdícios, a fim de evitar, minimizar e/ou mitigar problemas na políti- 
ca pública a ser implantada. Assim, deve ser construído, de forma parti- 
cipativa, entre avaliadores e atores, plano de implementação da política 
pública com os seguintes elementos: 


Definição do modelo de gestão e de governança, explicitando os 
mecanismos de liderança, estratégia e controle que serão postos em 
prática para avaliar, direcionar e monitorar a política 


Análise das atribuições e dos incentivos dos atores envolvidos na 
execução da política, verificando se o arranjo institucional proposto 
adequado 


Análise da base legal da política e da espécie de instrumento que será 
utilizado para constituir as obrigações e avenças necessárias à sua 
consecução e dos seus programas e ações 


Definição do plano de comunicação a ser executado durante todas as 
etapas da política 
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Análise de riscos eventuais ao longo da execução da política pública, 
com sua identificação, elaboração de estratégias de mitigação, 
administração e controle, compatível com a matriz FOFA 


Figura 29: Elementos do Plano de Implementação 
Fonte: Elaborada pelo autor deste livro (IPEA, 2018a) 


Também é de grande importância identificar os riscos à política, progra- 
ma ou projeto a ser implementado. Para tanto, se faz necessário deter- 
minar os fatores de riscos, que tragam ameaças à execução da política. 
A determinação destes pode ser feito com auxílio da matriz FOFA. Iden- 
tificados os fatores de riscos estes devem ser classificados quanto ao 
grau do seu risco, como um semáforo de trânsito, que indica com a cor 
vermelha o alto risco, como a cor amarela a necessidade de atenção e 
com a cor verde o baixo risco, conforme figura a seguir: 
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Fatores de Alto Risco 


Fatores de Médio Risco 


Política 
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Fatores de Baixo Risco 


Figura 30: Fatores de risco à execução 
Fonte: Elaborada pelo autor deste livro 


Os fatores de alta risco são aqueles com alta probabilidade de influir 
sobre o processo de execução da política. Assim, além de identificados 
é preciso desenvolver uma estratégia para sua mitigação. Já os fatores 
de médio risco devem ser monitorados, a fim de evitar que afetem 
negativamente a política sem tempo para que os implementadores pos- 
sam reagir e tentar mitigá-los, diante de uma mudança de cenário que 
os transforme de médio para alto risco. Para isso o “[...] plano de im- 
plementação deve vir acompanhado de um plano de gestão de riscos” 
(IPEA, 2018a, p. 124). 


Uma gestão de riscos eficiente pode ser baseada em diferentes metodo- 
logias, já que há, além da NBR ISO 31000:2018, “[...] uma grande quan- 
tidade de frameworks de gestão de riscos mundialmente reconhecidos, 
tais como ISO 31000, Orange Book do Tesouro Britânico [...] COSO ERM 
[...]” (ENAP 2018, p. 6). 


SAIBA MAIS 


Para saber mais sobre a NBR 31000:2018: 
<http:/wuww.abnt.org.br/imprensa/releases/5753-lancada-a-no- 
va-versao-da-norma-iso-31000-gestao-de-riscos > 


Para saber mais sobre gestão de riscos acesse a obra do Enap, intitu- 
lada a “Implementando a gestão de risco no setor público”: 
<https://repositorio.enap.gov.br/bitstream/1/4088/1/Modulo%20 
1-Estruturas%20de%20Gerenciamento%20e%20Bases.pdf> 


Estratégia de Monitoramento, Avaliação e Controle 

É a sexta etapa da avaliação ex-ante. Consiste em criar estratégias de: 
* Monitoramento; 

e Avaliação; 

* Controle. 


As estratégias de monitoramento e avaliação de políticas públicas, pro- 
gramas ou projetos geram informações a fim de auferir o desempenho 
de políticas. Isto possibilita realizar ajustes durante a execução da polí- 
tica. Já o “controle possibilita que as ações e as diretrizes estabelecidas 
pelas políticas caminhem de fato de acordo com o esperado, havendo 
espaços e oportunidades para que os desvios e as inconformidades se- 
jam detectados rapidamente” (IPEA, 2018a, p. 163). 


Tanto o monitoramento quanto a avaliação são funções de gestão indis- 
pensáveis que ajudam a fortalecer o planejamento dos programas e a 
melhorar a efetividade das ações. Em apoio ao planejamento da política, 
a avaliação e o monitoramento são atividades contínuas e integradas, de 
forma a: 


* medir continuadamente; 
* comparar o resultado obtido com o previsto; 


* tomar decisões sobre medidas corretivas que reduzam falhas e ele- 
vem a eficiência (IPEA, 2018a). 


O monitoramento também é chamado por parte da doutrina de avaliação 
in-itinere, que significa em andamento ou na estrada, respectivamente, 
em italiano e latim. Isto porque, o monitoramento é uma avaliação rea- 
lizada durante o andamento da implantação e/ou execução da política. 
Ou seja, é um exame contínuo dos processos, produtos, resultados e 
impactos das ações realizadas. A parte da doutrina que não concorda em 
chamar o monitoramento de avaliação in-itinere, alega que o monitora- 
mento não tem natureza avaliativa, uma vez que utiliza informações mais 
simples e imediatas sobre a operação e os efeitos da política, enquanto 
a avaliação usa informações mais aprofundadas e detalhadas da política. 
Questões semânticas à parte, estudaremos o monitoramento com mais 
detalhes no tópico de avaliação in-itinere. 


A avaliação, por sua vez, “envolve julgamento, atribuição de valor e men- 
suração da política, no sentido de melhorar seus processos de tomada de 
decisão e ajustar as linhas de intervenção. Trata-se de informação mais 
aprofundada e detalhada sobre o funcionamento e os efeitos da política” 
(IPEA, 20184, p. 163). 
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Já o controle se refere, entre outras questões, à verificação principio- 
lógica da administração pública, que deve, assim como suas políticas 
públicas, obedecer “aos princípios de legalidade, impessoalidade, mo- 
ralidade, publicidade e eficiência” (BRASIL, 1988), dispostos no caput, 
do art. 37, do texto constitucional. Portanto, o controle diz respeito aos 
mecanismos e instrumentos para “[...] verificar se a realização das ações 
de uma determinada política não se desvia dos objetivos ou das normas 
e princípios que a regem” (IPEA, 2018a, p. 163). Isto significa que o con- 
trole pressupõe investigar se a política pública, programa e/ou projeto 
atendem aos preceitos constitucionais e convencionais, bem como a le- 
gislação e normas em geral. Mas o controle não se encerra na legalidade, 
vai além, examina também o cumprimento dos princípios da administra- 


ção pública, o interesse público e a finalidade pública. 


Para isso, as políticas públicas devem ter: um sistema de monitoramento 
baseado em diversos indicadores, conforme abordado no tópico de mo- 
delo lógico; um sistema de avaliação que estabeleça critérios econômi- 
cos, sociais e ambientais, tais como equidade, satisfação do usuário, sus- 
tentabilidade, custo-benefício, eficiência, eficácia, efetividade etc.; e um 
sistema de controle com mecanismos internos e externos que possibili- 
tem auferir e validar se as ações implementadas estão em conformidade 


com os objetivos e as regras estabelecidas pela política (IPEA, 2018a). 
Análise de Custo-Benefício 


É a sétima etapa da avaliação ex ante. Consiste em uma análise dos cus- 
tos e os benefícios de uma política, programa e ou projeto, a fim de 
demonstrar que, do ponto de vista econômico, social e ambiental, os 
benefícios superam os custos. Em uma avaliação ex ante esta análise é 
mais difícil uma vez que ainda não há dados produzidos, mas apenas 
mensurados, máxime quanto aos benefícios. Não obstante, existam di- 
versas metodologias para este desiderato, talvez, a melhor abordagem 
ainda seja a clássica análise de custo-benefício. Independentemente da 
metodologia, o fundamental é a construção de indicadores que demons- 
trem que o retorno esperado é positivo, justificando os custos da política 
pública (IPEA, 2018a). 


Embora admita variações, normalmente uma análise de custo-benefício 
compreende várias etapas, as quais são sintetizadas na figura a seguir: 


definição de custos e 
benefícios relevantes 


seleção de programas 
alternativos 


catalogação e previsão 
quantitativa dos impactos 


monetização de custos e 
benefícios 


Custo-Benefício 
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desconto e cálculo do valor 
presente líquido do 
programa 


análise de sensibilidade 


Figura 31: Etapas da análise de custo-benefício 
Fonte: Elaborada pelo autor deste livro (ENAP 2018) 


Após estas seis etapas, o avaliador deve escolher, entre as diversas alter- 
nativas analisadas, aquela em que os benefícios econômicos, sociais e 
ambientais superam os custos. 


Impacto Orçamentário e Financeiro 


É a oitava etapa da avaliação ex-ante. Esta etapa tem ligação direta com 
a anterior, pois não deixa de ser um controle de legalidade, também. 
Isto porque, na avaliação da política pública, a análise do impacto orça- 
mentário e financeiro, de forma geral, “consiste na verificação do cum- 
primento das legislações fiscal e orçamentária pertinentes. É nessa fase, 
por exemplo, que se avalia se a autorização ou a execução da despesa 
pública dispõe de recursos para o seu financiamento [...]” (IPEA, 2018a, 
p. 111), bem como, se os “[...] requisitos definidos no Plano Plurianual 
(PPA), na Lei de Diretrizes Orçamentárias (LDO) e na Lei Orçamentá- 
ria Anual (LOA) foram devidamente observados” (IPEA, 2018a, p. 111). 
Uma vez que uma política em desconformidade com esta etapa, isto é, 
com impacto orçamentário e fiscal negativo, prejudica o equilíbrio fiscal 
e orçamentário da política, programa ou projeto. 


Desta forma, para que uma política pública, programa ou projeto esteja 
em conformidade com o arcabouço legal vigente, no tocante aos aspec- 
tos orçamentários e financeiros, devem ser atendidos dois requisitos bá- 
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sicos. O primeiro diz respeito à despesa pública. Esta não pode estar em 
desacordo com as regras fiscais. Entre estas, destaca-se, especialmente, 
os dispositivos da Lei de Responsabilidade Fiscal (LRF) e do Novo Regi- 
me Fiscal (NRF), instituído pela da Emenda à Constituição nº 95/2016, 
que estabeleceu o limite de gastos para a despesa primária, chamado de 
“teto de gastos”. Já o segundo requisito se refere à impossibilidade de 
contrariar os procedimentos disciplinados nos principais instrumentos 
orçamentários, tais como o Plano Plurianual - PPA, a Lei de Diretrizes 
Orçamentárias - LDO e a Lei Orçamentária Anual - LOA. Entre estes pro- 
cedimentos, destacam-se, com finalidade exemplificativa: os prazos, as 
condições e as restrições relacionados ao processo de alocação de recur- 
sos públicos (IPEA, 2018a). 


SAIBA MAIS 


Para saber mais sobre avaliação ex-ante: 
<https:/wmww.ipea.gov.br/portal/index.php?option=com content 
&view=article&id=32688>. 


3.5.2.2 Avaliação in-itinere 


Ainda, podemos falar na avaliação in-itinere, que é o próprio monitora- 
mento. Isto é, ocorre durante o processo de implementação de determi- 
nada política pública, programa ou projeto. Como seu nível de aprofun- 
damento é menor e menos detalhado do que na avaliação ex-post, por 
exemplo, parte da doutrina não o considera um tipo de avaliação, mas 
propriamente um monitoramento, por não ser tão aprofundado quanto 
a avaliação. 


Independente da polêmica semântica, o monitoramento é uma ferra- 
menta de gestão interativa e proativa, realizado durante a execução do 
programa. Por isso, suas informações são menos aprofundadas, mas o 
suficiente para a tomada de decisão. Os dados são analisados e os resul- 
tados são utilizados para aperfeiçoamento do trabalho de equipe, para 
os ajustes necessários ao programa e para o processo decisório, gerando 
aprendizagem organizacional (RUA, 2011). 


Assim, monitoramento pode ser definido como uma “atividade geren- 
cial interna, realizada sistematicamente durante o período de execução 
e operação, para se saber como uma intervenção evolui ao longo do 
tempo, através de dados da gerência do projeto sobre metas iniciais, 
indicadores e resultados associados aos programas” (RAMOS; SCHAB- 
BACH, 2012, p. 1279). Utilizado para se aferir as metas de um projeto, 
bem como “[...] os caminhos que uma intervenção percorre e as mé- 
tricas potenciais para medir os efeitos na população-objetivo (RAMOS; 
SCHABBACH, 2012, p. 1279). 


Portanto, sua função precípua é monitorar informações sobre o anda- 
mento da política pública, programa ou projeto, ponderando resultados, 


para verificar e avaliar sua implantação e processo de desenvolvimento, 
aferindo se estão ocorrendo conforme o planejado inicialmente. Assim, 
é possível subsidiar alterações durante o curso do processo. 


É possível citar alguns desafios para a realização de um bom monitora- 
mento, tais como: identificar os objetivos que a política, programa ou 
projeto almeja; elaborar indicadores que possam monitorar o progresso 
em relação às metas; e fixar metas quantitativas e temporais para cada 
indicador (RAMOS; SCHABBACH, 2012, p. 1280). Assim, através do mo- 
nitoramento, o avaliador pode verificar o andamento da implementação, 
isto é, se está alcançando seus objetivos e metas. Ademais, pode exami- 
nar quais problemas estão interferindo nas ações, processos e consecu- 
ção dos objetivos previstos (FARIA, 2005). Em função dos resultados do 
monitoramento, é possível prescrever ajustes do plano, das condições 
operacionais e a correção dos rumos da política, programa ou projeto. 


O plano de monitoramento da política, programa ou projeto é construí- 
do a partir do modelo lógico e dos indicadores apresentados nos tópicos 
anteriores. Isto porque o modelo lógico “determina onde o programa 
está querendo chegar e quais objetivos pretende atingir em termos de 
insumos, atividades, produtos, resultados e impactos” (IPEA, 2018a, p. 
164). Já os indicadores, correspondentes a cada fase, “representam as 
medidas a serem utilizadas para acompanhar o progresso na direção do 
alcance dos objetivos e metas” (IPEA, 2018a, p. 164). 


Portanto, para cada indicador deve haver um plano de monitoramento, 
que especifique o seguinte: 


* | afase do modelo lógico no qual o indicador está associado; 

* a descrição do indicador; 

* afrequência da coleta de dados referentes ao indicador; 

* o órgão responsável pela coleta; 

* o valor de linha de base sempre que pertinente; 

* ameta para o período e indicador em questão; 

* o valor do indicador realizado para o período (IPEA, 2018a). 

A seguir é apresentado, de forma sugestiva, um modelo de plano de mo- 


nitoramento. Lembrando que este pode e deve ser adaptado de acordo 
com o caso concreto: 
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Plano de Monitoramento 


Fase do Modelo Lógico Meta Realizado 
Indicador | Insumo | Produto | Resultado | Impacto | Valor | Freg. | 2021 | 2022 | 2023 | 2021 | 2022 | 2023 | Órgão res- 
Atividade linha | Coleta ponsável 
base por coleta 
Quadro 2: Estrutura do plano de monitoramento 


Fonte: ENAP 2018, p. 169 


Os estudos realizados no monitoramento podem ser abrangentes e in- 
terdisciplinares ou pesquisas pontuais, a depender do caso concreto, 
mas devem sempre gerar informações sobre as mudanças promovidas 
pela política. Diante da natureza de monitoramento estes estudos são 
preliminares e desenvolvidos durante o andamento da política, programa 
ou projeto, a fim de estabelecer comparações e determinar marcos para 
o monitoramento. 


Um desses estudos, talvez o mais comum, é a pesquisa de opinião, reali- 
zada por meio da aplicação de questionários aos atores envolvidos, bem 
como aos possíveis beneficiários. Tem o propósito de monitorar e avaliar 
a execução da política. 


3.5.2.3 Avaliação de meio termo: processos, produtos e qualidade 

A avaliação de meio termo ou intermediária diz respeito àquelas in- 
tervenções do tipo atividade, isto é, que têm como foco o processo, o 
produto, os bens e serviços de produção, a prestação continuada ou a 


qualidade (RUA, 2011). Assim, exemplificativamente, podemos dividir as 
avaliações de meio-termo nas seguintes espécies: 


de processo 


de produtos e serviços 
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Figura 32: Espécies de avaliações de meio-termo 
Fonte: Elaborada pelo autor deste livro 


Assim, leitor, vamos ver algumas destas avaliações agora. 


A avaliação de processos tem como foco a lógica da sua implementação 
e a consistência desta com os resultados pretendidos. Desta maneira, 
este tipo de avaliação mede a diferença entre os resultados pretendidos, 
os procedimentos adotados e os resultados obtidos. Além disso, focali- 
za, também, a distância entre os resultados obtidos com certos procedi- 
mentos e certos valores de referência (parâmetros externos) relativos ao 
objeto da intervenção. 


O objeto da avaliação de processo “é a aferição da adequação entre 
meios e fins, considerando os aspectos organizacional e institucional, 
social, econômico e político” (RAMOS; SCHABBACH, 2012, p. 1277). Já 
seu objetivo é “[...] o de permitir a correção do modelo de causalidade e 
da implementação, visando reorientá-la em função dos objetivos propos- 
tos” (RAMOS; SCHABBACH, 2012, p. 1277-1278). 


A avaliação de produtos e serviços é toda avaliação cujo foco recai sobre 
os produtos ou serviços de uma política, programa ou projeto, em suas 
várias dimensões. O(a) aluno(a) de Administração Pública já deve ter 
percebido que há uma relação intrínseca entre as avaliações de produto 
e qualidade, uma vez que a avaliação de qualidade foca na qualidade do 
produto ou serviço. 


Partindo da premissa que a qualidade toma como referência a satisfa- 
ção dos consumidores, podemos falar em uma avaliação de qualidade 
de produto ou serviço. Esta tem como ponto de partida os requisitos 
necessários aos produtos ou serviços para que satisfaçam os consumi- 
dores, entendendo qualidade como a capacidade de um bem ou serviço 
atender às expectativas do seu público-alvo. Nesta dimensão se incluem, 
por exemplo, as avaliações de satisfação dos usuários de um serviço. 
Portanto, diversos critérios podem ser usados para avaliar os produtos 
e serviços quanto à qualidade e, assim, informar aos consumidores. Seu 
critério é a eficácia objetiva e qualidade dos produtos e serviços, tais 
como: serviços educacionais; médicos; de assistência social; estradas, 
projetos de desenvolvimento sustentável; entre outros (RUA, 2011). 


3.5.2.4 Avaliação ex-post: de resultados, efeitos e impactos 


Outra lógica corresponde à avaliação ex-post que faz referência ao mo- 
mento em que é realizada a avaliação e, portanto, ao estágio da inter- 
venção que é submetido à avaliação. Compreende as avaliações inter- 
mediárias ou de meio-termo quando se trata de intervenções do tipo 
“atividade” (bens e serviços de produção ou prestação continuada) e as 
avaliações finais, de efeitos e de impactos. 


Assim, a avaliação ex-post é aquela realizada após a ação (ex-post), ou 
seja, na etapa de avaliação da política pública propriamente dita (SANO; 
MONTENEGRO FILHO, 2013). Portanto, objetiva avaliar a eficiência, a 
eficácia e a efetividade, isto é, os impactos, bem como fornecer conheci- 
mento para políticas públicas, programas ou projetos futuros. 
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Vale ressaltar que, numa acepção restrita, a avaliação ex-post não diz 
respeito apenas ao momento em que se pensa ou se planeja a avaliação, 
mas também à natureza do que é calculado. Isto porque, o foco, nesse 
caso, recai sobre o que é calculado: o custo efetivo de cada alternativa, 
pelo mesmo processo de análise de custos da avaliação ex-ante, porém 
tendo como referência os valores efetivamente despendidos. 


Antes de vermos os tipos de avaliações ex-post convido o(a) leitor(a) e 
o(a) aluno(a) de Administração Pública para entender a avaliação ex-post 
de forma sistêmica, o que podemos observar na figura a seguir: 


Avaliação de 
Eficiência, Eficácia e 
efetividade - 3Es 


Avaliação 


de Resultado 


Avaliação de Efeito e 
Impacto 


Avaliação 


Econômica 


Avaliação de 
Sustentabilidade 


Figura 33: Visão sistêmica da avaliação ex-post 
Fonte: Elaborada pelo autor deste livro e adaptada de IPEA (2018b, p. 30) 


A avaliação ex-post inicia com uma abordagem rápida para o aprofun- 
damento, o que se dá mediante a avaliação executiva, “[...] que permi- 
te, de forma prática e rápida, identificar em qual elemento ou em qual 
processo da cadeia de valor da política há maior chance de ocorrerem 
aprimoramentos (IPEA, 2018b, p. 29-30). Essa abordagem é composta 
pela “apresentação do panorama geral da política, a análise do problema 
que a política pretende combater, a teoria do programa, das atividades 
e produtos, dos resultados e impactos, de custo e gestão financeira, e 
dos indicadores de eficiência (IPEA, 2018b, p. 30). A partir disso é de- 
senvolvida uma análise global da política, a fim de formular conclusões 
e recomendações para o ajuste e aprimoramento da política na sua exe- 
cução. Diante dos resultados da avaliação executiva, outras abordagens 
de avaliação são desenvolvidas, assim é aprofundado um determinado 
componente da política, realizando uma avaliação de resultados, de efei- 
tos e impactos, de capacidade de fornecimento do produto ou do serviço 
planejado, de eficiência, eficácia e efetividade (3Es) ou de sustentabilida- 
de, por exemplo (IPEA, 2018b). 


Vejamos agora os principais tipos de avaliações ex-post. 


A avaliação de resultados tem como objetos ou os produtos finais ou 
seus efeitos. O produto final — frequentemente denominado output — é 
sempre uma saída direta, objetivamente constatável, da operação de um 
sistema: bens ou serviços como vacinas aplicadas, livros distribuídos, 
refeições servidas, alunos certificados, áreas reflorestadas etc. 


Ou seja, ocorre depois da implementação da política, programa ou pro- 
jeto e visa averiguar em que medida o programa atingiu os objetivos, 
bem como, quais foram seus efeitos e consequências. Assim, este tipo 
de avaliação questiona se houve alterações na situação-problema que 
deu origem a formulação do programa, bem como examina o sucesso ou 
fracasso no tocante à mudança efetiva nas condições prévias de vida das 
populações beneficiadas (RAMOS; SCHABBACH, 2012, p. 1278). 


A avaliação de resultados, enquanto avaliação ex-post, analisa de for- 
ma exploratória os indicadores de resultados e de impactos almejados 
com a política, programa ou projeto. Utiliza metodologias quantitativas e 
qualitativas capazes de verificar a evolução dos indicadores, bem como 
aquelas que estabeleçam métodos de coleta de informações junto aos 
usuários ou aos envolvidos na execução da política pública. Na avaliação 
de resultado o cumprimento das metas da política é auferido mediante 
um mapeamento de fatores que o favoreceram ou o desfavoreceram. Já 
o levantamento do nível de satisfação dos usuários ou das possibilidades 
de aprimorar os resultados da política é verificado por meio de aplicação 
de questionários ou entrevistas com amostra de beneficiários ou com 
grupos focais (IPEA, 2018b). 


A principal distinção entre as avaliações de resultados e de impactos 
relaciona-se às metodologias utilizadas. A avaliação de resultado é calca- 
da na verificação dos indicadores quantitativos e/ou no uso de metodolo- 
gias quantitativas exploratórias, bem como no levantamento do nível de 
satisfação e da percepção dos usuários quanto aos resultados da política. 
Para isso, são propostas e verificadas hipóteses sobre os indicadores de 
resultados e impactos, conforme o modelo lógico, estudado na avalia- 
ção ex-ante. Em contrapartida, na avaliação de impacto são utilizadas 
metodologias estatísticas e “[...] hipóteses sobre o comportamento dos 
beneficiários da política e dos não beneficiários que servirão de grupo de 
controle [...]” (IPEA, 2018b, p. 242). Assim, é possível estimar os efei- 
tos causais da política, programa ou projeto, tanto sobre os indicadores 
de resultados, quanto de impactos, definidos no modelo lógico (IPEA, 
2018b). 


Quanto às avaliações de efeitos e de impactos, embora ambas sejam do 
tipo ex-post, ou seja, realizadas após a implantação da política, há dife- 
renças entre elas. Nesse sentido, o produto final diferencia-se do efeito, 
que é a sua consequência: a mudança desencadeada na realidade pelo 
produto final. O termo em língua inglesa para “efeito” é outcome, que 
guarda clara diferença de output. O “efeito” está diretamente relacio- 
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nado com o produto final de uma intervenção (política, programa ou 
projeto) e sempre expressa uma mudança em uma situação preexistente. 
Em geral, as políticas públicas são implementadas mediante alguns pro- 
cessos destinados a gerar produtos com a finalidade de produzir efeitos, 
ou seja, transformar a realidade. Relacionada à obtenção dos efeitos, a 
palavra “efetividade” ganhou especial destaque nos últimos tempos, re- 
ferindo-se a um dos mais importantes critérios de avaliação, como será 
visto mais adiante. 


De igual relevância, um conceito pouco preciso, embora frequentemente 
utilizado como sinônimo dos efeitos, é impacto. Aqui cabem algumas 
distinções. Primeiramente, os efeitos são, por definição, previsíveis, em 
razão da sua relação direta com os produtos. Podem ser efeitos positivos 
(que se pretende desencadear) ou negativos (que se deve mitigar), mas 
são sempre o propósito da intervenção. Já os impactos podem ser previ- 
síveis ou não. Isso resulta do fato de que não se relacionam diretamente 
com o produto ou a causa. 


Tanto os impactos previsíveis como os imprevisíveis podem ser positivos 
ou negativos. Devido a essa relação indireta e mediada, e suscetível a 
interveniências diversas, os impactos podem variar no tempo e na inten- 
sidade e podem se espraiar por áreas muito diferentes daquela em que 
ocorreu a intervenção. 


Por exemplo, vacinas aplicadas, que podem ter como efeito crianças 
imunizadas, podem gerar impactos como uma redução dos gastos do 
sistema de saúde com o tratamento das doenças (que foram evitadas); 
uma redução da repetência e da evasão escolar por ter sido evitada a 
perda de dias letivos pelas crianças; uma redução das faltas das mães ao 
trabalho evitando a perda de renda das famílias etc. 


Diante do exposto, a avaliação de impactos “é a identificação sistemáti- 
ca dos efeitos — positivos ou negativos, intencionais ou não — nos lares, 
instituições e ambiente causados por uma determinada actividade de de- 
senvolvimento tal como um programa ou projecto” (BANCO MUNDIAL, 
2004). Ou seja, é uma avaliação de um ou mais resultados de médio ou 
longo prazo. Resultados estes que podem ser definidos como impactos, 
isto é, consequências dos resultados imediatos. Para entender melhor, 
veja os exemplos nas figuras a seguir: 


N=silpTo [BD Distribuição 
Imediato de renda 
da Política para a 


Elevação da 
qualidade 
de vida da 

classe C 


Impacto da 
Política 


Pública classe C Pública 


Figura 34: 1º Exemplo de impacto de política pública 
Fonte: Elaborada pelo autor deste livro 


Ou seja, podemos dizer que políticas públicas que tenham como resulta- 
do imediato a distribuição de renda para a classe C, gera como impacto 
a elevação da qualidade de vida desta classe. 


see Aumento das 
Resultado vendas dos 
aa produtores Tanoclovo o] Elevação da 


rurais para o Política o 


rural 


da Política Eat Pública 
Pública dos centros 
urbanos 


Figura 35: 2º Exemplo de impacto de política pública 
Fonte: Elaborada pelo autor deste livro 


Isto significa que uma política pública que tenha como resultado ime- 
diato o aumento das vendas dos produtores rurais para o abastecimento 
dos centros urbanos gera como impacto a elevação da qualidade de vida 
no meio rural. Outro exemplo, uma política que tenha como resultado 
imediato a redução das importações gera como impacto o aumento da 
poupança. 


Essas características dos impactos conduzem à seguinte reflexão: uma 
política pública pode ter como expectativa certos impactos, mas não 
pode tê-los como seu objetivo direto, a saber: 


* devido ao baixo grau de governabilidade que qualquer gestor tem 
sobre estes impactos; 


* devido às dificuldades de evidenciação da cadeia causal entre a inter- 
venção, seu(s) produto(s), seu(s) efeito(s) e os impactos; e 


* devido a fatores que dificultam uma identificação e mensuração clara 
dos impactos. 


Tudo isso impõe grandes desafios à avaliação de impacto, cujo método se 
baseia na lógica experimental ou quase experimental. Assim, a avaliação 
de impacto, enquanto dimensão ex-post do resultado, está relacionada 
com os objetivos gerais e o alcance efetivo das metas. Tratando-se de ava- 
liação mais complexa, este tipo de avaliação examina a existência do nexo 
causal entre os resultados da implantação da política, programa ou pro- 
jeto e as alterações nas condições sociais da população (RAMOS; SCHA- 
BBACH, 2012). Assim, procura responder a três questões fundamentais: 


* As mudanças observadas na situação-problema se devem à interven- 
ção ou a outros fatores? 


* Uma solução se aplica a outras realidades, ou apenas a determinado 
contexto? 


* As mudanças são permanentes ou temporárias, cessando com a in- 
terrupção do programa? (RAMOS; SCHABBACH, 2012, p. 1278). 
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A avaliação de impacto usualmente é operacionalizada “[...] por meio de 
desenhos quase experimentais, usa métodos quantitativos para a coleta 
e o tratamento dos dados e modelos estatísticos e econométricos para 
analisá-los” (RAMOS; SCHABBACH, 2012, p. 1278). O grande desafio 
deste tipo de avaliação diz respeito à demonstração de que os resulta- 
dos aferidos estão causalmente relacionados aos produtos produzidos 
pelo programa. Assim, as exigências para uma adequada verificação de 
impacto são: 


* observar um tempo de maturação da política, programa ou projeto 
para auferir o registro de impacto; 


* contar com uma variedade de informações prévias à implementação, 
como uma análise ex-ante; 


* encontrar um bom contrafactual, isto é um indivíduo ou grupo de 
comparação que não tenha participado do programa, mas que seja 
similar ao factual ou de tratamento, a fim de criar um grupo ou tra- 
tamento controle, com o propósito de se controlar o viés de seleção 
do indivíduo ou grupo de comparação; 


* comparar o estudo com outras avaliações (RAMOS; SCHABBACH, 
2012). 


Portanto, como você leitor(a) deve ter percebido a avaliação de impacto 
busca quantificar os efeitos causais da política. Contudo, afirmar que 
um resultado em específico “é causado por uma política específica não 
é uma tarefa estatística trivial. Diversas estratégias empíricas podem ser 
consideradas para se isolar o efeito de uma dada política da influência 
de outros fatores sobre os seus indicadores de resultado” (IPEA, 2018b, 
p. 261). Para isso a avaliação de impacto busca verificar as hipóteses da 
teoria do modelo lógico. Procura, por exemplo, comprovar uma deter- 
minada hipótese, na qual dispõe que “[...] determinados insumos e de- 
terminadas atividades geram determinados produtos, que, por sua vez, 
geram resultados (efeitos de curto e médio prazo) e impactos (efeitos 
de mais longo prazo) no público-alvo ou na sociedade como um todo” 
(IPEA, 2018b, p. 261). Desta forma, é através da avaliação de impacto 
que é possível auferir que a política, de fato, gera os resultados, efeitos e 
impactos esperados, conforme planejado. 


Segundo Ramos e Schabbach (2012, p. 1279) “esses desenhos possuem 
alta legitimidade na comunidade internacional que discute avaliação de 
políticas públicas e permitem a realização de análises abrangentes, com 
grandes amostras populacionais”. É, portanto, um tipo de avaliação mais 
complexa, dispendiosa e demorada. Por isso, utilizam mais recursos e 
levam mais tempo até produzirem resultados aos tomadores de decisão. 
Por estes motivos, sua utilização deve ocorrer de forma parcimoniosa, 
e, apenas em casos em que seja necessário, por exemplo, por falta de 
conhecimento prévio do que funciona ou não ou quando o programa for 
inovador e de importância estratégica (RAMOS; SCHABBACH, 2012). 


3.5.3 Avaliação Segundo a Fficiência, Eficácia e Efetividade (3Es) 


Você sabe a diferença entre estes três termos? 
Existe relação entre eles ou são totalmente independentes? 


Dentre esses três conceitos, maior ainda é a dúvida quanto à linha de- 
marcatória entre eficácia e efetividade. O conceito de eficiência, espe- 
cialmente eficiência operacional, na maioria das vezes, está associado 
à análise dos custos e prazos esperados (em relação ao realizado) na 
implantação de uma política, um programa, projeto ou uma atividade. 
Existe uma zona de consenso bem estabelecida quanto ao conceito. 


Acrescentado pela Emenda Constitucional nº 19/98, o princípio da efici- 
ência está disposto no caput do art. 37, que impõe aos gestores o dever 
de seguir os princípios da legalidade, impessoalidade, moralidade, publi- 
cidade e, também, da eficiência: 


Art. 37. A administração pública direta e indireta de qualquer dos Poderes da 
União, dos Estados, do Distrito Federal e dos Municípios obedecerá aos prin- 
cípios de legalidade, impessoalidade, moralidade, publicidade e eficiência e, 
também, ao seguinte [...] (BRASIL, 1988) 


Desta forma para o princípio da legalidade estabelece que o administra- 
dor público deve agir conforme a lei. Já o princípio da impessoalidade 
estabelece que o órgão público deve divulgar com transparência todos 
os atos da administração pública. Por sua vez, o princípio da moralidade 
apresenta que nem tudo que é legal é moral. Isto significa que o gestor 
público não deve pautar seus atos somente pela autorização legal, mas 
também pelo aspecto moral do ato administrativo. O princípio da impes- 
soalidade impõe que todos os indivíduos devem ser tratados igualmente. 
Por fim, o princípio da eficiência impõe à Administração Pública o dever 
de almejar e alcançar os melhores resultados por meio da aplicação da 
lei (CARVALHO FILHO, 2015). 


Este dever estatal de atuação eficiente está relacionado com o direito dos 
usuários de receberem serviços públicos com qualidade e presteza. Por 
isso, a Lei nº 8.112/90, que dispõe sobre o regime jurídico dos servidores 
públicos civis da União, das autarquias e das fundações públicas fede- 
rais, em seu art. 116, enumera uma série de deveres do servidor público 
relacionados com a eficiência, como por exemplo: atender com presteza 
o público em geral (inciso V) e zelar pela economia do material (inciso 
VII). Assim, não foi por acaso, que o princípio da eficiência foi uma das 
bases da Reforma Administrativa que almejou implementar uma admi- 
nistração pública gerencial voltada para um controle de resultados na 
atuação estatal (MAZZA, 2017). 


Vale ressaltar, porém, que eficiência, eficácia e efetividade são conceitos 
distintos. A eficiência diz respeito ao modo pelo qual se exerce a função 
administrativa. Por sua vez, a eficácia diz respeito aos meios e instru- 
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mentos empregados pelo agente. Enquanto a efetividade é voltada para 
os resultados de sua atuação (CARVALHO FILHO, 2015). 


Desta forma, a eficácia, para alguns autores, diz respeito à análise da 
contribuição de um evento para o cumprimento dos objetivos almejados 
ou do projeto ou da organização. A confusão maior está relacionada ao 
conceito de efetividade. Em alguns casos, a eficácia ficou relacionada ao 
resultado imediato, relativamente esperado. E os outros efeitos de espec- 
tro mais amplo, chamados de secundários ou imprevistos ou colaterais, 
estariam relacionados à efetividade. 


Essa diferenciação é basicamente um recurso analítico, servindo para 
caracterizar o que são metas e/ou produtos anunciados de uma política, 
e discriminá-los de produtos alcançados no âmbito do programa, em ter- 
mos de uma efetiva mudança nas condições prévias (efeitos e impactos 
nas populações atingidas pelo programa sob avaliação). 


Para esclarecer a distinção entre eficácia e efetividade, vamos analisar 
juntos um exemplo apresentado por Arretche (2001), que faz referência 
a uma campanha de vacinação muito bem-sucedida. Em termos de efi- 
cácia, vale dizer, a possibilidade de atingir uma quantidade satisfatória 
de suas metas de vacinação, por exemplo, vacinar crianças num prazo 
dado, não significa necessariamente que o programa seja bem-sucedido 
a ponto de, efetivamente, reduzir a incidência da doença que se propu- 
nha erradicar ou diminuir substancialmente num horizonte de tempo. 


Para melhor compreensão, observe o quadro a seguir, que traz resumi- 
damente a definição destes termos: 


Relaciona atividades com seus produtos iniciais, intermediários 
Eficácia | e finais (metas e objetivos). 
Exemplo: 100% do número previsto de crianças vacinadas. 


Relaciona produtos com seus custos (financeiros, humanos, 
tempo). 

Exemplo: Custo por criança/vacina 2% menor que o custo médio 
dos últimos cinco anos. Todos os prazos previstos cumpridos. 


Eficiência 


Relaciona produtos com seus efeitos na realidade que se quer 
Efetividade | transformar, ou seja, consequências. 
Exemplo: redução da incidência da doença “X” em 90%. 


Quadro 3: Distinção entre Eficácia, Eficiência e Efetividade 
Fonte: RUA, 2014. 


Ademais, as avaliações podem usar outros critérios, relativos a proces- 
sos, como economicidade, celeridade, tempestividade etc. Ou relativos 
a resultados, como equidade, ou seja, a capacidade de contribuir para a 
redução das desigualdades e da exclusão social. 


Sem contar a sustentabilidade, vale dizer, a capacidade de desencadear 
mudanças permanentes, que persistem além dos investimentos realiza- 
dos, e que alteram o perfil da própria demanda por políticas/programas, 
retroalimentando o sistema de políticas públicas. E, nessa dinâmica, fa- 


zer uso racional de todos os recursos necessários, contribuindo para a 
preservação do patrimônio comum da sociedade. 


As preocupações com a efetividade das políticas públicas, com sua sus- 
tentabilidade e com a sua maior ou menor capacidade de promover a 
equidade remetem diretamente ao tema da accountability e do controle, 
tão caro aos debates recentes sobre as novas relações entre o Estado e 
a sociedade. 


Porém, embora o tema tenha os seus atrativos, a reflexão sobre ele é ain- 
da bastante preliminar. Pois, por exemplo, não temos clareza sobre o que 
significa “controle”, tampouco sobre qual sua extensão. Sabemos que é 
possível falar em controle vertical, como aquele que se dá na dinâmica 
das relações entre o todo e as partes no arranjo federativo. 


Podemos, também, falar de controle horizontal, como o que tem lugar 
na esfera das relações entre os Poderes, realizado rotineiramente pelo 
Legislativo ou especificamente pelo seu órgão auxiliar, o Tribunal de Con- 
tas, sobre o Executivo e suas políticas. 


Ouvimos falar, ainda, em controle interno, como o que se exerce por ór- 
gão especializado do próprio Executivo, sobre as suas diversas instâncias. 


No Brasil, as atividades de controle interno e externo têm previsão na 
Constituição de 1988, que estabelece como: 


* controle interno aquele realizado pelos próprios órgãos do aparelho 
estatal, como a Controladoria Geral da União e suas subunidades; e 


* controle externo aquele efetivado pelo Poder Legislativo, que conta 
com o auxílio das cortes de contas, ou seja: o Tribunal de Contas da 
União, os Tribunais de Contas do Estados e do Distrito Federal e os 
Tribunais de Contas dos Municípios*. 


Diante do exposto, podemos afirmar que o controle pode ter como foco 
as esferas orçamentária, fiscal, contábil, patrimonial e programática e 
que a avaliação representa o mais importante instrumento de controle da 
efetividade das políticas e dos programas governamentais. 


SAIBA MAIS 


Para saber mais: *O texto constitucional, em seu art. 31, 84º, veda 
a criação de Tribunais de Contas Municipais. Contudo, a majoritária 
jurisprudência do STF interpreta este dispositivo, no sentido de que 
os Municípios não podem criar seus próprios tribunais, conselhos 
ou órgãos de contas municipais, mas permite que os Estados-mem- 
bros, mediante autônoma deliberação, instituam órgão estadual de- 
nominado Conselho ou Tribunal de Contas dos Municípios. Confira 
este entendimento do STF: <http://uw.stf.jus.br/portal/constitui- 
cao/artigoBd.asptitem=456>. 
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Diante destes conceitos e diferenciação entre eficiência, eficácia e efeti- 
vidades, vamos aprofundar um pouco mais na metodologia da avaliação 
segundo a eficiência, eficácia e efetividade, critérios estes conhecidos 
pela sigla 3Es, doravante assim chamada neste livro. 


Os itens 3.5.3, a partir deste ponto, foram adaptados e remixados da obra: 
SANO, Hironobu; MONTENEGRO FILHO, Mario Jorge França. As técnicas de 
avaliação da eficiência, eficácia e efetividade na gestão pública e sua relevân- 
cia para o desenvolvimento social e das ações públicas. Desenvolvimento em 
Questão, n. 22, 2013. 


Esta obra está licenciada nos termos da Licença Creative Commons Atribuição- 
-NãoComercial-Compartilhalgual 3.0 Brasil, podendo a OBRA ser remixada, 
adaptada e servir para criação de obras derivadas, desde que com fins não co- 
merciais, que seja atribuído crédito ao autor e que as obras derivadas sejam 


licenciadas sob a mesma licença. 


Este tipo de avaliação, segundo a eficiência, eficácia e efetividade (3Es) 
é assim chamada justamente por utilizar os 3Es como critérios ou indi- 
cadores. Vários autores ressaltam que estes três critérios de avaliação 
são os mais tradicionais, usados e fundamentais (CARVALHO, 20071; 
HARMON; MAYER, 1999). Neste sentido, Sulbrandt (1993) agrupa as 
experiências avaliativas de programas em três metodologias básicas: a) 
avaliação de metas (eficácia); b) avaliação de impacto (efetividade); e 
c) avaliação do processo (eficiência). Por seu turno, Jannuzzi e Patarra 
(2006) destacam a importância do monitoramento dos programas se- 
gundo o raciocínio insumo-processo-resultado-impacto, que pode ser 
realizado com os 3Es, conforme ilustrado na Figura a seguir, inclusive 
para os insumos envolvidos, avaliando sua influência em cada uma das 
três etapas: 


Processo Resultados | p | Transformação 
(Eficiência) (Eficácia) (Efetividade) 


Figura 36: Fluxograma da avaliação 
Fonte: SANO; MONTENEGRO FILHO, 2013, p. 39 


A Lei nº 11.653/2008 corrobora as perspectivas anteriormente apresen- 
tadas ao estabelecer que a gestão do Plano Plurianual de 2008 a 2011 
observará os princípios de eficiência, eficácia e efetividade na avaliação 
dos seus programas (BRASIL, 2008). 


Diante das várias definições existentes dos 3Es, algumas delas inclusive 
contraditórias entre si, faz-se necessário explicitar que os conceitos aqui 
adotados são os de Washington Souza (2008), nos quais a efetividade é 
percebida mediante a avaliação das transformações ocorridas a partir da 
ação; a eficácia resulta da relação entre metas alcançadas versus metas 
pretendidas e a eficiência significa fazer mais com menos recursos. 


Estas definições estão alinhadas a várias outras largamente utilizadas, 
entre elas as do manual Guide for monitoring and evaluation do Unicef, 
apresentadas no texto de Costa e Castanhar (2003), e do Tribunal de 
Contas da União (TCU), presentes no texto de Ghelman (2006). 


Vale ressaltar que a efetividade está relacionada ao impacto social que 
procura identificar os efeitos produzidos sobre uma população-alvo de 
um programa social. Por seu turno, avaliar o impacto social é mensurar o 
real valor de um investimento social. O que torna sua avaliação indispen- 
sável é o fato de que, caso o impacto social não seja o esperado, poder- 
-se-á replanejar a atuação (FONTES, 2005). A principal dificuldade, po- 
rém, é garantir a vinculação entre as ações do programa e as mudanças 
percebidas. A eficácia, por sua vez, propicia que as instituições avaliadas 
respondam às pressões por transparência, demonstrando que resultados 
estão sendo alcançados. 


A mensuração da eficiência de uma ação social pode ser realizada de vá- 
rias formas e a falta de parametrização gera diversas dúvidas sobre quais 
ações são mais eficientes. A eficiência também não pode ser avaliada 
olhando-se apenas para os aspectos internos da organização, devendo- 
-se voltar para a globalidade das demais organizações (ARAÚJO et al., 
2008). Ou seja, não se deve apenas avaliar se houve desperdícios ou des- 
vios dos recursos, mas também comparar a eficiência alcançada com a 
de outras organizações que podem vir a se tornar benchmarkers. Segun- 
do Marinho e Façanha (2001, p. 6), “avaliação pressupõe comparação”. 
Vale destacar, ainda, que a busca pela eficiência implica uma melhor uti- 
lização dos recursos, resultando no combate à corrupção. 


Com relação ao aspecto histórico da eficiência, sua presença é observada 
tanto no surgimento da teoria da administração quanto na teoria da ad- 
ministração pública. É, importante lembrar, todavia, que a sua busca, im- 
buída numa cultura racional burocrática, desvinculada de interferências 
morais, resultou no genocídio dos judeus e dos ciganos em Auschwitz, 
símbolo, à época da Segunda Guerra, da modernidade e cientificamente 
organizada, que se utilizava das técnicas mais eficazes (LÔWY, 2011). 


Também se entende pertinente situar os 3Es nas três fases de um pro- 
cesso avaliativo: a que antecede o início do projeto (ex-ante), estando 
vinculada às clássicas etapas de diagnóstico e formulação do programa 
social; a que ocorre durante a etapa de constituição (pari-passu) e a que 
se sucede à ação (ex-post), na etapa de avaliação propriamente dita (JAN- 
NUZZI, 2005). Estas relações são sintetizadas no Quadro a seguir. 
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Indicador 


Estimativa bascada | Comparação entre | Comparação com 
em iniciativas com- | o que foi previsto | iniciativas similares 
paráveis. Pouco uti- | e o que se está rea- | ou com o planejado. 
lizada. lizando. Utilizada | Mais utilizada. 

principalmente no 

controle orçamen- 

tário. 
Bascada em inicia-| Acompanhamen-| Verificação se as me- 
tivas comparáveis. | to da realização | tas propostas foram 
Pouco utilizada. das metas propos- | atingidas. 

tas. 
Expectativa base-| Avaliações par-| Vinculação das mu- 
ada em iniciativas | ciais ao término | danças, caso tenham 
similares. Pouco| das etapas de um| ocorrido as ações 
utilizada. programa. empreendidas. Mais 
utilizada e recomen- 


dada. 


Quadro 4: Relação entre os 3Es e as fases da avaliação 
Fonte: SANO; MONTENEGRO FILHO, 2013, p. 41 


Finalmente, é preciso destacar que a avaliação sistemática, contínua e 
eficaz é uma ferramenta gerencial poderosa, fornecendo aos formulado- 
res e gestores de políticas públicas condições para aumentar a eficiência 
e efetividade dos recursos aplicados. Faz-se necessário, portanto, o de- 
senvolvimento de um conjunto harmônico e sistemático de indicadores 
que abranjam os 3Es e suas inter-relações, tema a ser tratado no próximo 
tópico. 


Lemos (2009) afirma haver um consenso de que todo monitoramento e 
avaliação baseiam-se em indicadores que auxiliam nas tomadas de deci- 
são, permitindo um melhor desempenho, a formulação de um orçamen- 
to mais racional e uma prestação de contas mais clara e objetiva. 


Costa e Castanhar (2003, p. 987) indicam que: 


O grande desafio para a disseminação da prática da avaliação de projetos no 
setor público é, sem dúvida, encontrar formas práticas de mensurar o de- 
sempenho e fornecer ao responsável pela gestão dos programas sociais, bem 
como para os demais atores envolvidos, informações úteis para a avaliação 
sobre os efeitos de tais programas, necessidade de correções, ou mesmo da 
inviabilidade do programa. 


O desafio em questão esbarra na falta de consenso a respeito da defini- 
ção de indicadores sociais. Situação diferente é a do setor privado, em 
que seus indicadores já são consagrados, sendo, muitos deles, inclusive, 


internacionalmente utilizados. Ocorre o mesmo em outros setores me- 
nos preocupados com as questões sociais e mais focados em suas res- 
pectivas especialidades e indicadores. Por exemplo, o setor econômico 
elege o Produto Interno Bruto (PIB) como um indicador da geração de 
riqueza, ao passo que o setor agrícola toma como parâmetro de produ- 
tividade as toneladas de grãos por safra, enquanto o judiciário baseia-se 
no número de processos por juiz para alocar seus recursos, entre outros. 
Tentar-se-á contribuir para a superação deste desafio, destacando algu- 
mas informações relevantes sobre indicadores para políticas públicas. 
Para um maior aprofundamento, porém, faz-se necessária a consulta aos 
artigos citados. 


Antico e Jannuzzi (2006) detalham em seu artigo os tipos, propriedades 
e fontes de indicadores para cada uma das quatro etapas (diagnóstico, 
formulação, instituição e avaliação) do ciclo de avaliação de políticas 
públicas. Alertam, também, sobre os bolsões de iniquidades escondi- 
dos pelos indicadores que refletem as médias municipais. Além disso, 
demonstram as etapas de construção de indicadores multicritérios, que 
podem ser utilizados para programas intersetoriais. Exemplificam, igual- 
mente, um Painel de Indicadores de Monitoramento, considerado como 
uma ferramenta “pragmática”. Por fim, escrevem brevemente (dois pa- 
rágrafos) sobre a Análise Envoltória de Dados (DEA), sendo necessária 
a leitura complementar de obras específicas para sua utilização. Sobre a 
efetividade, sugerem o emprego de indicadores de diferentes naturezas 
e propriedades, na tentativa de captar as mudanças ocorridas, alertando 
para a necessidade de avaliações qualitativas e da lentidão do impacto, 
quando o marco zero não é trágico ou os recursos não são expressivos. 


Já Costa e Castanhar (2003) apresentam no seu texto informações 
importantes para a elaboração de um sistema de avaliação, inclusive 
exemplificando-o. 


Por seu turno, Guimarães e Jannuzzi (2005) advertem, em sua análi- 
se crítica, sobre os problemas decorrentes do emprego de indicadores 
sintéticos (média de vários indicadores simples). Eles afirmam que, por 
mais abrangentes que esses indicadores tentem ser, alguns inclusive 
compostos por 38 indicadores simples, como o Índice de Qualidade de 
Vida Urbana (IQVU), 3 não devem ser interpretados como um reflexo fiel 
e absoluto da realidade. 


Nos tópicos a seguir são apresentados, de forma exemplificativa, cinco 
métodos de avaliação de desempenho na gestão pública tendo os 3Es 
como indicadores, conforme a seguinte figura: 
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Figura 37: Métodos de avaliação de desempenho na gestão 
pública com 3Es 
Fonte: Elaborada pelo autor deste livro 


Balanced Scorecard 


Pelo já comentado fato de o setor privado possuir mais ferramentas, co- 
nhecimentos e histórico na utilização de indicadores, muitos estudiosos 
tentam adaptar ferramentas empresariais às necessidades públicas. À 
parte as críticas sobre estas adaptações, Ghelman (2006) também apre- 
senta um modelo adaptado do Balanced Scorecard aos preceitos de uma 
nova gestão pública moderna e focada nos resultados, preservando, se- 
gundo o autor, as especificidades da área pública. Dentre as adaptações, 
o autor conclui pela necessidade das medidas de desempenho nas di- 
mensões da: a) eficiência, visando à otimização dos recursos dos contri- 
buintes; b) eficácia, por meio da melhoria da qualidade dos serviços; e c) 
efetividade, buscando orientar as ações públicas para o atendimento ao 
cidadão. Assim, é facilmente observável o uso de todos os 3Es, além da 
preocupação com o monitoramento sistemático dos resultados. 


O autor também justifica a utilização conjunta dos 3Es ao afirmar que a 
busca isolada pela eficiência, reduzindo custos e/ou aumentando a produ- 
tividade, pode comprometer a qualidade do serviço. Mesmo ofertando um 
serviço com eficiência e eficácia não há garantias do alcance da efetividade 
com a conquista da transformação desejada, citando inclusive exemplos. 


Sobre a efetividade, o autor também conclui que, ao considerá-la como 
um dos aspectos medidos pelo modelo proposto, permite-se um aumen- 
to do controle social decorrente da possibilidade de avaliação do desem- 
penho organizacional. Para que o cidadão seja um indutor da melhoria 
da qualidade do serviço público, porém, faz-se necessária a disponibili- 
zação destas informações de forma fácil e inteligível, caso contrário sua 
participação será cerceada. 


Partindo da premissa de que o Estado é fator fundamental para o desen- 
volvimento, o autor estabelece a contribuição do seu modelo a partir do 
aperfeiçoamento dos instrumentos de gestão. São feitas, contudo, algu- 
mas ressalvas, como o fato de este modelo não poder ser aplicado direta- 
mente em todos os órgãos públicos, mas apenas naqueles que possuem 
um planejamento estratégico estruturado e uma forte cultura de medição 
do desempenho organizacional. Vale frisar que o modelo desconsidera 
as especificidades de cada órgão público e, por isso, deve ser adaptado 
às especificidades de cada instituição. 


Quadro Lógico 


Pfeiffer (2006) apresenta a metodologia do Quadro Lógico (QL) criada 
para demonstrar a efetividade dos projetos de cooperação internacional, 
ou seja, ao contrário da anteriormente apresentada na proposta anterior, 
ela não possui elementos da lógica empresarial. Sua matriz fornece res- 
postas a questões intimamente associadas aos 3Es, tais como: 


* Qualéo seu propósito e quais as mudanças a serem alcançadas? 

* Como se pretende produzir melhorias? 

* Como é possível identificar o alcance das melhorias e mudanças? 
Logo, não se pode negar que o desafio na elaboração de um QL é sele- 
cionar e combinar, adequadamente, os processos que serão capazes de 


gerar os resultados desejados de forma eficiente. Esta relação pode ser 
visualizada na figura a seguir: 


Objetivo do 


Processos Resultados E 
projeto 


Figura 38: Eficiência e efetividade no QL 
Fonte: PFEIFFER, 2006 apud SANO; MONTENEGRO FILHO, 2013, p. 45 


Assim, define-se o êxito do projeto já na fase do seu planejamento, su- 
prindo a falta de clareza e unanimidade da literatura especializada sobre 
como defini-lo. O QL também permite um acompanhamento sistemáti- 
co e uma avaliação mais simples e objetiva, ao relacionar cada resultado 
e objetivo a um indicador vinculado a uma fonte de comprovação, con- 
forme ilustrado a seguir. 
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Indicad 
Lógica da o Fontes de Suposições 


- objetivamente . 
Intervenção » . | Comprovação | Importantes 
comprováveis 


Objetivo 

Superior 

Objetivo 
do Projeto 


Resultados 


Atividades 
Principais 


Quadro 5: Estrutura do QL 
Fonte: PFEIFFER, 2006 apud SANO; MONTENEGRO FILHO, 2013, p. 46 


Sendo o QL apenas um instrumento de gerência de projetos, faz-se ne- 
cessária, para sua eficácia, sua integração num sistema mais amplo de 
gerenciamento, adaptando-o às especificidades de cada projeto. Consta- 
ta-se, ainda, ser ele um mapa que orienta as equipes e os gerentes, além 
de também apresentar-se como um acordo entre os interessados sobre 
os rumos do projeto e os compromissos assumidos. 


Ressalte-se que, por não ser de fácil domínio, é recomendável a utiliza- 
ção de especialistas ou a capacitação teórica e prática para seu emprego, 
tendo em vista que ele evolui na mesma proporção da concretização dos 
projetos. 


Entidades de Fiscalização 


Oliveira (2008) destaca que as Entidades de Fiscalização Superior, como 
os Tribunais de Contas, estão sendo cada vez mais demandadas para 
realizar trabalhos qualitativos, abrangendo os 3Es. Estas auditorias são 
denominadas operacionais ou de desempenho e buscam avaliar as orga- 
nizações públicas em aspectos como eficiência, economicidade, eficácia 
e efetividade. O referido autor apresenta o impacto da inclusão das au- 
ditorias de efetividade no rol das tradicionais atribuições destes tribu- 
nais em verificar a regularidade das contas públicas, focando os aspectos 
legais, orçamentários, contábeis, financeiros e patrimoniais, realizadas 
via auditoria de conformidade. Os principais seriam a necessidade de 
diversificação dos seus profissionais, juntamente com novas rotinas, sem 
esquecer o aspecto político, uma vez que os resultados podem suscitar 
questionamentos de natureza política. 


O trabalho apresenta os tipos de auditorias de desempenho, dentre as 
quais constam a de eficiência e a de efetividade de programas, já pra- 
ticadas em países como Austrália, França, Alemanha, Holanda, Suécia, 
Reino Unido e Estados Unidos. A primeira tem por objetivo examinar as 
funções organizacionais, os processos e os elementos de um programa 
para avaliar se os seus insumos estão sendo otimizados, focando princi- 
palmente os custos. Ela não implica “reformulação radical da missão, do 
papel e da estratégia dos órgãos de auditoria, além do fato de a eficiên- 


cia ser considerada um valor fundamental por unanimidade” (OLIVEIRA, 
2008, p. 40). Já a de efetividade examina o impacto do programa, e sua 
realização afetaria o papel, a estratégia e a missão, que se tornaria mais 
ampla e abstrata, das entidades de fiscalização. Estas mudanças ocorre- 
riam pelo fato de esta modalidade ser mais complexa, não tendo um mo- 
delo rígido e padronizado como as auditorias de conformidade, exigindo, 
assim, um amplo domínio de conhecimentos multidisciplinares. 


Não se pode deixar de observar que, por mais significativos que sejam os 
achados identificados durante uma auditoria operacional, as recomenda- 
ções para melhoria do desempenho da organização auditada não serão 
completamente instituídas, caso esta não disponha de recursos suficien- 
tes para o atendimento das sugestões realizadas. Como se pode ver, a 
capacidade contributiva das recomendações para a melhoria da gestão 
pública pode ser limitada pela ausência de diversos recursos, tais como 
humanos, financeiros, políticos ou técnicos. Sobre este último, e diante 
da constatação do autor a respeito da necessidade de emprego de mo- 
delos analíticos na etapa de planejamento das auditorias, artigos como 
o presente buscam contribuir para a formação de um referencial teórico 
acessível. 


Planilhas 


Garcia (2008) propõe a adoção de duas planilhas para avaliação da efici- 
ência na gestão pública. A primeira possui nove indicadores relacionados 
à gestão orçamentária, financeira e patrimonial, aos processos de aquisi- 
ção, ao índice de inovação, a iniciativas sociais e aos serviços prestados. 
Sendo o alcance a tais informações restrito, seu preenchimento só pode- 
ria ser realizado por alguém com amplo acesso, como o gestor do órgão. 


A segunda planilha é empregada para gerar o indicador “Serviços Pres- 
tados” presente na primeira. Ela deve ser preenchida pelos cidadãos, 
usuários ou beneficiários dos serviços prestados pelo órgão público. É 
composta por 32 indicadores relacionados a serviços pela Internet, ao 
atendimento prestado, às instalações, ao processo de solicitação do ser- 
viço, à resolução do problema e ao pós-atendimento. Sendo extrema- 
mente extensa e detalhada, a probabilidade de o cidadão terminar seu 
preenchimento adequado parece ser extremamente baixa. 


O autor peca ao não explicitar como os indicadores propostos são ela- 
borados e ao não distinguir outros conceitos relacionados a eles, tais 
como eficácia, efetividade e qualidade. Logo, vários indicadores referem- 
-se mais ao grau de qualidade da prestação do serviço da entidade do 
que propriamente a sua eficiência (quantidade de serviço x recursos). 


TOM Web 
Pires (2010) propõe a adoção da Transparência Orçamentária Municipal 


via Internet (TOM Web), que consiste na prestação de contas (accounta- 
bility) pela Internet, disponibilizando em tempo real informações porme- 
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norizadas sobre sua execução orçamentária e financeira. Seu foco são os 
municípios, tendo em vista que os Estados e principalmente o governo 
federal já adotam ferramentas similares. O autor defende que a transpa- 
rência possibilitada por essa ferramenta é um pré-requisito da eficiência 
nas novas formas de governar. 


Este autor introduz sua pesquisa manifestando a expectativa de que, com 
a adoção do modelo proposto, haverá mais transparência nos municípios 
brasileiros devido à redução das assimetrias informacionais entre “gover- 
nantes e governados, ampliando, assim, as oportunidades para que a ci- 
dadania se constitua numa alavanca para governos locais mais eficientes, 
efetivos, eficazes e responsivos, necessários ao desenvolvimento socioe- 
conômico e à redução das desigualdades no país” (PIRES, p. 4). 


O TOM Web é definido como um modo de gerir a arrecadação e sua 
destinação, prestando contas, por meio de relatórios periódicos, via we- 
bsites, deixando claros prazos, decisões, resultados e riscos, nas fases 
de planejamento, aprovação, execução e avaliação. Esta modalidade é 
respaldada pela Lei Complementar 131/09, que cria a obrigatoriedade de 
publicação das contas públicas em tempo real, via Internet, para todos 
os entes da federação, com prazo até 2013 para os municípios de até 
50.000 habitantes. 


Operacionalmente, o TOM Web seria um link no site de cada prefeitura, 
contendo documentos, informações e dados relevantes sobre o planeja- 
mento orçamentário, a sua execução e as compras públicas. O aprofun- 
damento do conteúdo das informações dar-se-ia de acordo com a pro- 
fundidade da navegação empreendida pelo usuário, podendo manter-se 
superficial, atendendo, assim, tanto a demanda de especialistas quanto a 
de leigos. O seu conteúdo deve ser consistente, completo e organizado, 
apresentando documentos integrais e tecnicamente bem-elaborados, re- 
gularmente atualizados e que ofereçam condições de acesso fácil para 
qualquer usuário. 


O autor relaciona os documentos considerados por ele básicos e ne- 
cessários como ponto de partida para elaboração do conteúdo e sugere 
que sejam disponibilizados canais de comunicação e materiais didáticos, 
como glossários e textos de fácil compreensão. 


3.5.4 Avaliação Etnográfica 


A avaliação etnográfica de políticas, programas e projetos consiste em 
um processo de avaliação ex-post das políticas públicas baseado na 
formulação de indicadores socioculturais, construídos a partir de uma 
perspectiva etnográfica. A utilização destes tipos de indicadores na 
avaliação de políticas públicas surgiu da “[...] insuficiência das abor- 
dagens quantitativas (inspiradas em conceitos abstratos e universais) 
aplicadas aos processos de avaliação das políticas públicas” (GON- 
CALVES, 2008, p. 18). 


Na Administração Pública, uns dos grandes desafios daqueles envolvi- 
dos na formulação, gestão e avaliação das políticas públicas diz respeito 
a como conciliar o estabelecimento necessário de conceitos universais 
“[...] tais como pobreza, qualidade de vida e desenvolvimento -, válidos 
para Os grupos sociais, e ao mesmo tempo considerar, no desenho de 
tais políticas, as tradições culturais destes grupos e seus próprios proje- 
tos de futuro” (GONÇALVES, 2008, p. 19). 


A fim de mitigar este dilema, talvez uma das soluções seja analisar as 
políticas públicas a partir da visão de mundo dos sujeitos sociais, sem- 
pre que estas políticas visarem promover a mudança social. Isto porque, 
políticas desta natureza necessitam de mediações em seus aspectos cul- 
turais e nas relações de poder locais, que não devem ser menosprezadas. 
Parece ser esta a tendência para a avaliação ex-post de certas políticas 
públicas, que exijam, para uma avaliação adequada, critérios etnográfi- 
cos (GONÇALVES, 2008). 


O item 3.5.4, a partir deste ponto, foi adaptado e remixado da obra: 
RODRIGUES, Lea Carvalho. Etnografia na avaliação de políticas públicas: limites 
e possibilidades. Revista de ciências sociais: política & trabalho, João Pessoa, v. 
1, n. 47, p. 229-245, 7 mar. 2018. 


Esta obra está licenciada nos termos da Licença Creative Commons Atribuição- 
-NãoComercial-Compartilhalgual 3.0 Brasil, podendo a OBRA ser remixada, 
adaptada e servir para criação de obras derivadas, desde que com fins não co- 
merciais, que seja atribuído crédito ao autor e que as obras derivadas sejam 
licenciadas sob a mesma licença. 


Por causa deste dilema, tem sido cada vez mais frequente, na área da 
avaliação de políticas públicas, a utilização de práticas e técnicas de pes- 
quisa próprias ao fazer antropológico: a realização de entrevistas aber- 
tas, a pesquisa de campo e a observação participante — as duas últimas 
muitas vezes tomadas como sinônimo uma da outra. Entende-se que 
o uso dessas técnicas e práticas de pesquisa faz parte de um processo 
profícuo de diálogos interdisciplinares que, sobretudo na área das polí- 
ticas públicas, são uma realidade evidente. O que inquieta, entretanto, 
é quando estas técnicas são denominadas, de forma generalizada, de 
etnografia ou método etnográfico; ou, ainda, quando a pesquisa, apenas 
pelo recurso a esses instrumentais metodológicos, diz valer-se de uma 
perspectiva antropológica. 


Percebe-se esta tendência sobretudo na área de estudos sobre políticas 
públicas em saúde e na área de administração de empresas. A presença 
de sociólogos(as) e antropólogos(as) em instituições e grupos interdisci- 
plinares de pesquisa fez com que a etnografia fosse bem aceita na área 
da saúde, como mostram as produções, no Brasil, sobre metodologias 
qualitativas desenvolvidas por Minayo (2012) e Víctora, Knauth e Hassen 
(2000) e, no exterior, pesquisas como as de Savage (2000) ou Leigh e Vas- 
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sar (2011). Nos Estados Unidos, pesquisadores como Peregrine Schwartz- 
-Sea e Dvora Yanow (2015) , a primeira cientista política e a segunda 
da área da administração, e o cientista político Raul Lejano (2012), têm 
incluído a proposta etnográfica, em especial o interpretativismo de Ge- 
ertz, como metodologia para a análise e a avaliação de políticas públicas. 


Uma vez que a proposta é refletir sobre os limites e possibilidades do 
recurso à etnografia na avaliação de políticas públicas, é necessário, pri- 
meiramente, entender os significados destas noções — observação parti- 
cipante, etnografia, método etnográfico ou mesmo o que seria uma pers- 
pectiva antropológica —, hoje, no campo da própria antropologia para, 
então, se posicionar em relação aos intercâmbios metodológicos com 
outras áreas, O que faremos no primeiro tópico deste artigo. Isto porque, 
na área da própria antropologia, o uso de terminologias e o estatuto da 
etnografia já configuram um campo de intensos debates — que dirá, en- 
tão, o uso de conceitos e terminologias de forma indiscriminada, como 
salienta Uriarte (2012), ao externar uma apreensão pelo “entusiasmo 
que a etnografia vem suscitando nos últimos anos em diversas áreas 
do conhecimento” (URIARTE, 2012, p. 2). A autora se refere a uma per- 
cepção, por parte dos antropólogos, de que fazer etnografia, e o próprio 
termo, estão sendo objeto de uma certa banalização. 


A Etnografia e Avaliação de Políticas Públicas 


Em primeiro lugar, torna-se necessário verificar as formas como a etno- 
grafia adentra a área de avaliação de políticas públicas; em segundo lu- 
gar, é preciso refletir sobre a real possibilidade de se produzir etnografias 
nessa área de estudos. 


Um dos autores que, no caso brasileiro, mais vem orientando a avaliação 
de políticas públicas é Raul Lejano, cuja obra, Parâmetros para análise 
de políticas, traduzida para o português em 2012, teve boa aceitação, 
sobretudo no meio acadêmico. Sua proposta de análise e avaliação de 
políticas, que ele situa como pós-construtivista, consiste na elaboração 
de um modelo experiencial que, como o nome já evoca, funda-se na 
experiência dos sujeitos. Trata-se de uma proposta fundada na noção de 
processo, com foco na ação e no aprendizado e ênfase no contexto. O 
autor não se vale do termo etnografia, mas sim descrição densa, que, 
para os antropólogos convergentes com o pensamento de Geertz, só se 
realiza como etnografia. A proposta do autor, entretanto, é outra: ele se 
vale da noção de descrição densa para propor uma análise de políticas 
mais próximas da experiência, mais ampla e multidimensional. Para tal 
propõe, ainda, o emprego de diferentes técnicas e processos de coleta 
de dados, assim como, também, a produção de diversos tipos de dados 
que possam ser posteriormente integrados na análise com recurso me- 
todologia de “mixed methods”. Poderíamos concluir que a forma como 
está sendo utilizada a noção de descrição densa, sendo que para Geertz 
etnografia é isto, uma descrição densa, representa para a antropologia a 
mesma “banalização da etnografia” anteriormente evocada? Ainda que 
o autor não proponha a realização de etnografias, técnicas como a ob- 


servação participante são previstas na obra e é óbvio que, se descrição 
densa se refere ao relato de uma experiência etnográfica, sente-se a esse 
respeito alguns incômodos na leitura do texto, que soam como ruídos, 
como algo nada harmônico para os ouvidos de um antropólogo. 


Para que tenhamos uma melhor compreensão desses usos da etnogra- 
fia, sobretudo quando ela é entendida como método, vale a pena nos 
debruçarmos um pouco mais detidamente sobre dois artigos, fruto de 
pesquisas na área da saúde, que tomam como foco central a etnografia. 


O primeiro autor, Savage (2000), publicou o artigo Ethnography and He- 
alth Care em um dos mais importantes periódicos internacionais da área 
de medicina, o BM), originalmente British Medical Journal. Primeiramen- 
te, o autor reconhece que não existe uma interpretação padrão sobre 
o que é a etnografia. Acertadamente, observa que o termo não é um 
substitutivo para pesquisa qualitativa em geral ou um caminho para des- 
crever resultados de pesquisas baseadas em entrevistas semiestrutura- 
das, como muitas vezes, e erroneamente, é pensado; está ciente, ainda, 
de que para muitos pesquisadores o que define a etnografia é o uso da 
observação participante. Até este ponto parece que concordamos todos 
com Savage. Dentre os problemas, entretanto, está a afirmação de que 
o termo pode ser aplicado ao mesmo tempo para designá-la como uma 
metodologia e para denominar os resultados apresentados. Mais preo- 
cupante, ainda, é a afirmação de que “a etnografia pode ser usada num 
estágio de pré-desenho da pesquisa e pode gerar questões para a pesqui- 
sa que podem ser seguidas por outras metodologias” (SAVAGE, 2000, p. 
1). Este último ponto desqualifica totalmente a etnografia, tal como ela 
é entendida pelos antropólogos, mesmo considerando todas as diver- 
gências dentro do campo da antropologia. Considerar a etnografia como 
um método e, mais ainda, que pode ser “usado” não para realizar uma 
pesquisa completa, mas para fazer inferências que ajudem a desenhar 
outra proposta de pesquisa, parece realmente algo esdrúxulo. Mas, com 
efeito, este é um procedimento comum na área de avaliação de políticas 
públicas, em uma vertente mais positivista, em que os dados qualitativos 
e/ou a pesquisa de campo figuram como parte de uma fase preliminar da 
investigação, servindo como base para a montagem de indicadores ou 
ajuste da proposta de pesquisa, que acaba por ser desenhada recorrendo 
a métodos quantitativos de análise. 


O segundo artigo, de autoria de Goodson e Vassar (2011), intitulado 
An Overview of Ethnography in Healthcare and Medical Education Re- 
search, segue a mesma linha de raciocínio quanto ao entendimento da 
etnografia como um método de estudos localizado em uma única área, 
largamente dependente da observação participante e entrevistas. Define 
o uso da etnografia, também, como um recurso subsidiário para a pes- 
quisa que se desenvolverá recorrendo a métodos quantitativos. Dentre 
as situações possíveis estão: 


* para definição do problema de pesquisa, quando este não está claro 
(como uma pesquisa exploratória); 
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* identificar participantes da situação em estudo; 
* classificar o conjunto de locais onde a situação ocorre; 
* explorar fatores associados com o problema em estudo; 


* documentar um processo. 


Apresenta como fatores limitantes da etnografia a longa duração neces- 
sária à pesquisa em razão do período de observação participante, rea- 
lização e trato das entrevistas; as dificuldades para generalização, uma 
vez que se trata de estudos feitos em apenas um local ou área; os custos 
mais altos da pesquisa e a subjetividade inerente à pesquisa baseada na 
interpretação da experiência cultural. 


Nos dois textos acima referidos, fica evidente que a forma como a etno- 
grafia adentra o âmbito de outras disciplinas acadêmicas é preocupante, 
dado que deturpa os sentidos originais não apenas de termos, mas de 
práticas precursoras e nucleares da antropologia. 


Após o apresentado, tomemos para reflexão a seguinte questão: é possí- 
vel elaborar etnografias na área de avaliação de políticas públicas? 


Se nos fixarmos nas colocações feitas pelos antropólogos brasileiros que 
escreveram sobre o tema da etnografia, diríamos que sim, desde que o 
pesquisador tivesse uma formação sólida na disciplina, dispusesse de 
tempo e condições suficientes para realizar uma pesquisa intensiva e de 
longo prazo sobre a política ou programa sob avaliação e por meio dessa 
avaliação discutisse questões centrais ao debate antropológico, contri- 
buindo para o desenvolvimento da disciplina. 


Em primeiro lugar, a formação. Realizar etnografias em avaliação de po- 
líticas públicas, fazer entrevistas, o que e como observar. Isto demanda- 
ria a leitura sistemática de monografias antropológicas, como asseveram 
Peirano (2014) e Magnani (2012), a apreensão dos temas e questões pró- 
prios ao entendimento da alteridade, o domínio de conceitos, o diálogo 
com autores da área. Ora, seria então impossível ao não antropólogo fa- 
zer etnografia? Tudo indica que sim, pois, evidentemente, esta seria uma 
tarefa muito difícil. A menos que tivéssemos antropólogos contratados 
pelas instâncias governamentais ou de pesquisa para atuar na dimensão 
qualitativa das avaliações e que lhes fosse dado um tempo maior do que 
comumente se exige quando se trata de avaliações de interesse gover- 
namental. Porque, de fato, não se faz um estudo etnográfico em poucos 
meses de pesquisa. A área da antropologia é formada por intelectuais 
das mais diferentes formações disciplinares, é fato, mas que dedicaram, 
posteriormente, um largo período de suas vidas à formação em antropo- 
logia, como a realização de pós-graduação na área. 


Mas talvez a questão seja: em que medida a prática etnográfica pode 
inspirar os avaliadores de políticas públicas de forma que eles possam in- 
serir em suas pesquisas avaliativas a pesquisa de campo intensiva (outro 
grande problema, já que dificilmente ele terá como cumprir um tempo 


largo em campo), a entrevista em profundidade, aberta, rica em variáveis 
não previamente imaginadas, assim como estratégias metodológicas, 
como a análise situacional, que orientam a análise de eventos como co- 
memorações, assembleias e reuniões. E quanto a tal proposta, entendo 
que para alcançá-la não é necessário nem desejável que se busque a 
realização de uma etnografia. 


Quando Malinowski propôs uma metodologia própria para o estudo de 
outras sociedades, portanto de uma perspectiva antropológica, ele a for- 
mulou a partir de métodos e técnicas de pesquisa já utilizados por dife- 
rentes áreas do conhecimento, até mesmo as áreas duras como a física e 
a química. Os pressupostos científicos eram os mesmos e o paradigma 
funcionalista também a eles se adequava. 


Estamos em outro momento, evidentemente. Os paradigmas positivis- 
tas, ainda que perseverem nas ciências duras, sofrem vários abalos e 
abrem flancos por onde se inserem a interdisciplinaridade, a subjetivi- 
dade, a dimensão cultural, levando até mesmo as ciências médicas a 
incorporarem outros saberes às suas práticas. 


Mas há um aspecto bem mais problemático para a tentativa de se fazer 
etnografias na área da avaliação de políticas públicas, pois o pressuposto 
de que avaliar é emitir um julgamento (SILVA, 2008; HOLANDA, 2006) 
colide frontalmente com a perspectiva relativista da antropologia em face 
da alteridade, o pressuposto de que sua tarefa é entender a lógica do 
Outro sem julgá-la a partir de seus próprios referenciais. A única possibi- 
lidade, então, de se fazer etnografias de avaliação a partir de uma postura 
antropológica seria propor que avaliar deve ser a compreensão da políti- 
ca e não um julgamento sobre ela. Mas ainda nos deparamos com outro 
problema, que diz respeito aos princípios éticos cobrados profissional- 
mente do antropólogo, em especial os que dizem respeito “à garantia de 
que a colaboração prestada não seja utilizada com o intuito de prejudicar 
o grupo investigado” (ASSOCIAÇÃO BRASILEIRA DE ANTROPOLOGIA, 
2012), a garantia de acesso desses sujeitos aos resultados da pesquisa 
e o respeito aos seus códigos culturais, bem como o direito de correta 
e detalhada informação sobre “o significado do consentimento informa- 
do em pesquisas realizadas no campo da saúde” (ABA, 2012). Ou seja, 
como garantir que esses pressupostos que orientam toda a prática etno- 
gráfica sejam respeitados por pesquisadores insuficientemente formados 
e informados no campo da antropologia? 


A Contribuição do Diálogo Interdisciplinar à 
Avaliação de Políticas Públicas 


No Brasil, Rodrigues (2008) faz uma tentativa de diálogo interdisciplinar 
entre a área de avaliação de políticas públicas e o campo da antropologia. 
Ciente de que autores do campo da avaliação, sobretudo nos Estados 
Unidos, valiam-se de abordagens interpretativas, inspirados nas formula- 
ções do antropólogo Clifford Geertz, apresenta uma proposta metodoló- 
gica que ficou conhecida como avaliação em profundidade, composta de 
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quatro eixos analíticos: análise de conteúdo, análise de contexto, trajetó- 
ria institucional e espectro temporal e territorial. Ao definir avaliação em 
profundidade por seu caráter interdisciplinar e multidimensional, pela 
amplitude e densidade analíticas, evidentemente Rodrigues (2008) esta- 
va propondo um diálogo com a antropologia, considerando a positivida- 
de de sua contribuição aos estudos na área, mas, ao mesmo tempo, não 
moldava a avaliação à etnografia, no sentido amplo referido nos tópicos 
anteriores deste artigo. Inclusive, a autora faz as devidas ressalvas ao 
recurso ao método etnográfico como proposto por autores da área da 
avaliação, em razão do extenso debate existente na área da antropologia 
sobre o estatuto da etnografia, desde a sua definição até a abrangência 
analítica (RODRIGUES, 2008). 


Assim, considera Rodrigues que realizar uma avaliação em profundidade 
não pode se restringir aos aportes interpretativos em busca da signifi- 
cação, via Geertz, como propõe Gussi (2014). Isto porque é preciso, 
sobretudo para a área de avaliação de políticas públicas, considerar os 
limites da abordagem geertziana ao se restringir à busca de significados. 
A esse respeito, Rodrigues (2004) expõe seu entendimento da etnogra- 
fia não apenas como imersão em uma particularidade e sua posterior 
descrição detalhada com interpretação dos significados, mas como um 
empreendimento que envolve interpretação, descrição e análise, como 
enfatiza Jacobson (1991). 


Neste sentido, uma pesquisa na área de avaliação de políticas públicas 
pautada na avaliação em profundidade deve, sim, atentar para os signi- 
ficados dados à política pelos sujeitos e documentos oficiais, mas esta é 
apenas uma parte da tarefa, bastante útil, sobretudo no trato do material 
coletado para a análise de conteúdo e reconstrução da trajetória da políti- 
ca. No entanto, para a análise de contexto, apreensão do modelo político 
econômico e social que sustentou a política, mapeamento e análise da 
sobreposição de políticas, apreensão das redes de atores locais e dos 
conflitos e interesses em jogo, outros instrumentais são necessários. 


A depender da especificidade de cada política ou programa estudado e 
da situação empírica em questão, a necessidade de aplicação de questio- 
nários pode ser fundamental, ou a realização de grupos focais, oficinas 
de elaboração de cartografias sociais, estudos de caso. No caso de con- 
flitos socioambientais, paradigmas como o da ecologia política podem 
ser altamente profícuos — este diálogo interdisciplinar já ocorre dentro do 
próprio campo da antropologia. E entendo que esta abordagem metodo- 
lógica da ecologia política possa, também, orientar conflitos sociais que 
não envolvam questões ambientais. 


Ou seja, há muito ainda a desenvolver a partir da proposta inicial de 
avaliação em profundidade, além dos esforços já empreendidos no sen- 
tido de melhor esclarecê-la e da percepção de novas possibilidades de 
agregar métodos adequados a diferentes situações, bem como as suas 
possibilidades de articulação. Mas é um diálogo possível que vem en- 
riquecer a administração pública, máxime, no tocante às avaliações de 
políticas públicas. 
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